amaranth.log
💻 개발

객체 스토리지 기반의 계층 구조 설계(feat. 클로저 테이블(Closure Table))

서론

이번에 우리 회사에서 개발하고 있는 서비스에 Google Drive, OneDrive와 같은 웹 기반 파일 관리 시스템을 새롭게 개발하게 되었다. 이 프로젝트에서 난 데브옵스 담당자분과 협업하게 되었고 나는 웹 클라이언트 개발을, 데브옵스 담당자분은 인프라 아키텍처 구축 및 API 개발을 담당했다.
이번 포스트는 파일 시스템의 아키텍처 설계 과정에서 발생했던 문제와 그 해결과정을 기록으로 남기고, 그 과정에서 새롭게 배운 점을 회고하여 남기고자 작성하게 되었다.

초기 아키텍처: 객체 스토리지(Object Storage) 기반 설계

프로젝트에 착수하고 얼마 후, 데브옵스 담당자 분으로부터 파일 시스템의 아키텍처와 API 초안을 전달받았다.
이번 프로젝트에서는 MinIO를 파일 저장소로 사용했는데, MinIO는 확장 가능하고 안전하며 배포가 용이하도록 설계된 고성능 분산 객체 스토리지 시스템이다.

MindlO를 선택한 이유

일반적으로 AWS S3를 사용한다면 S3 Metadata 기능을 통해 파일 검색이나 정렬 같은 메타데이터 기반 기능을 쉽게 구현할 수 있다.
하지만 우리가 만들고자 하는 시스템은 온프레미스 환경에서 구축되어야 했기 때문에 클라우드 서비스를 사용할 수 없었다.
그래서 MinIO를 선택했고, 메타데이터는 별도의 RDB에서 관리하기로 했다.
 
MinlO, S3와 같은 분산 객체 스토리지의 장점은 다음과 같다.
  • 확장성(Scalability): 노드(서버)를 추가하는 방식으로 용량과 처리량을 제한 없이 확장할 수 있다. 즉, 스케일 아웃(Scale-Out) 기반 인프라 확장이 용이하다.
  • 고가용성(High Availability): 분산 특성으로 인해 인프라 일부가 중단되더라도 데이터가 날아가지 않고 안정적으로 서비스를 제공할 수 있다.
  • 빠른 데이터 검색: prefix 기반 검색으로 복잡한 폴더 탐색 없이 빠르게 데이터를 찾을 수 있다
 

객체 스토리지의 구조적 특징

객체 스토리지에서는 파일을 실제 디렉터리 구조로 저장하지 않는다. 대신, 모든 파일은 다음과 같은 형태의 key를 가진다.
documents/work/report.pdf documents/work/image.png documents/personal/todo.txt
여기서 중요한 점은 documents/work/ 같은 폴더가 실제로 존재하는 엔티티가 아니라, 단순히 문자열 prefix라는 것이다.
그래서 저장소 관점에서 ‘폴더 안의 파일을 조회’하는 경우, 실제 내부 동작은 key가 documents/work/로 시작하는 모든 객체를 조회하는 방식으로 이루어진다.
이 방식은 prefix 검색만으로 폴더 계층 기반 조회가 가능하기 때문에 빠르고 단순하다는 장점이 있다.
 
…
이러한 시스템 구조를 기반으로, 서비스 구현에 핵심적인 API를 전달받았다.
  • 폴더 내 파일 목록 조회
  • 현재 폴더의 루트 기준 전체 경로 조회
  • 시스템 내 전체 폴더 목록을 계층 구조로 조회
  • 등등

문제 상황

사전에 전달 받았던 요구사항 중엔 폴더 이름을 수정하는 기능이 있었고, 향후 폴더를 다른 경로로 옮기는 요구사항이 추가될 수 있다는 논의가 이루어졌던 상황이었다. 전달받은 API 명세에 관련 기능이 없어, 이 부분에 대해 의문을 제기하니 데브옵스 담당자분도 미처 생각하지 못했던 요구사항이었는지 문제 상황에 대한 논의를 시작하게 되었다.

폴더 이름 변경 문제

현재 아키텍처에선, key 자체가 파일/폴더의 경로와 이름을 표현하고 있기 때문에 폴더 명을 수정하거나, 다른 폴더의 하위로 위치를 이동하는 경우 해당 폴더 하위에 존재하는 모든 폴더/파일의 key 역시 함께 수정해주어야 한다.
객체 스토리지 특성상 객체는 불변하기 때문에, key를 수정한다는 것도 실제론 새 key로 동일한 파일을 생성하고 기존 파일을 삭제하는 방식으로 이루어져야 한다.
때문에 하위 계층이 깊을수록 연산 횟수가 크게 늘어나고, 연산 도중 실패한 경우 복구 작업도 까다롭다.
🤔
아예 기능을 제공하지 않는 방식은 어떨까?
실제 S3와 MinlO의 GUI 인터페이스에서도 이런 이유로 폴더 편집 기능을 제공하지 않고 있다. 하지만 S3의 경우 주 사용자가 개발자, 즉 객체 스토리지 시스템의 구조적 제약을 이해할 수 있는 집단이기에 충분히 감수할 수 있는 트레이드 오프이다.
하지만 우리가 개발하는 서비스는 일반 고객을 대상으로 하는 서비스이기 때문에, 폴더 이름 수정 정도는 편의성 측면에서 당연히 제공해야 한다고 생각했다.
 

아이디어1. key와 displayName 분리

처음엔 단순히 ‘그럼 파일/폴더명을 key로 쓰지 말고, key는 UUID와 같은 불변 식별자로 정의하고, 파일/폴더명은 별도 속성으로 관리하면 되지 않나?’라고 생각했다.
하지만, 이 아이디어는 곧바로 한계에 부딪혔다.
  1. 객체 스토리지의 강점을 활용할 수 없다. 객체 스토리지의 강점 중 하나는 key 기반 검색(prefix search)인데, key가 단순한 UUID가 되어버리면 이 장점을 거의 활용할 수 없게 된다.
  1. 근본적인 문제는 여전히 해결되지 않는다. 폴더를 다른 위치로 이동할 때 여전히 하위 모든 파일의 경로 속성을 업데이트해야 한다.
  1. 특정 경로의 파일을 찾으려면 전체 파일을 스캔해야 하기 때문에 검색 성능이 저하된다..
 

아이디어2. 부모 참조 방식

다음으로 떠오른 아이디어는 파일명을 포함한 메타데이터를 RDB에 저장하고, 전통적인 계층 구조에서 많이 쓰이는 부모 참조 방식을 도입해 계층을 표현하는 것이었다.
초기 아키텍처에서는 파일명 검색을 MinIO에서 수행함으로써 key 기반으로 빠르게 검색을 수행할 수 있도록 할 계획이었다. 하지만 MinIO의 key를 고유한 UUID로 지정하고, 검색은 RDB가 수행하도록 하는 것으로 타협했다. 오히려 키워드 부분 검색과 필터링은 RDB가 더 효율적일 수 있다.
CREATE TABLE folders ( id UUID PRIMARY KEY, name VARCHAR(255), parent_id UUID -- 부모 폴더 참조 ); CREATE TABLE files ( id UUID PRIMARY KEY, name VARCHAR(255), folder_id UUID -- 속한 폴더 참조 );
부모 참조 방식은 각 파일/폴더가 자신의 상위 폴더의 정보(key)를 속성 값으로 들고 있는 구조인데, 이 방식은 데이터 편집 측면에서는 더 효율적이지만 조회 측면에서 한 가지 문제가 있었다.
어떤 파일의 전체 경로를 조회하려면 상위 계층 정보를 통해 루트 계층까지 거슬러 올라가야 한다는 것이다. 이 말은 즉슨 폴더 깊이만큼의 Join이 필요하다는 뜻이다. 트리의 깊이가 깊어질 수록 조회 비용은 증가하고, SQL에서는 재귀 쿼리나 다중 Join이 필요해진다.
 
특정 폴더/파일의 루트 기준 전체 경로를 보여주는 것은 파일 시스템의 기본이라고 할 수 있어 역시 포기할 수 없었다.
즉 이 방식은 다음과 같은 트레이드 오프를 가진다.
  • 장: 폴더 이름, 경로 수정 작업에 유리하다
  • 단: 폴더/파일의 전체 경로 조회 시 트리 깊이에 의존하게 된다
 

아이디어3. Flat 구조와 계층 구조를 모두 사용하기

이쯤에서 이런 생각이 들었다.
MinIO의 flat 구조가 주는 조회 성능과 계층 구조가 주는 편집 유연성을 동시에 가져갈 수는 없을까?
하지만 당시에는 관련 지식이 부족해, 이 아이디어를 구체적인 구현 방식으로 풀어내지는 못했다.
그래서 이 아이디어를 데브옵스 담당자 분께 공유하는 수준에 그쳤다.

해결: 클로저 테이블(Closure Table)

며칠 후, 데브옵스 담당자 분께서 새로운 설계안을 가져오셨다. 여기서 클로저 테이블(Closure Table)이라는 패턴을 처음 알게 되었는데, 잠시 클로저 테이블에 대해 알아보자.

클로저 패턴

클로저 테이블은 계층 구조를 표현하는 RDB 패턴 중 하나로, 모든 상위-하위 관계 별도의 테이블에 저장하고 관리하는 방식이다.
 

예시)

다음과 같은 폴더 구조가 있다고 가정해보자.
/ (루트) ├── 문서 (id: folder-1) │ └── 2024년 (id: folder-2) │ └── 1분기 (id: folder-3) └── 사진 (id: folder-4)
여기서 부모 참조 방식이라면 다음과 같이 테이블을 정의할 것이다.
-- folders 테이블 | id | name | parent_id | |----------|---------|-----------| | folder-1 | 문서 | NULL | | folder-2 | 2024년 | folder-1 | | folder-3 | 1분기 | folder-2 | | folder-4 | 사진 | NULL |
이 구조에서 folder-3의 전체 경로를 조회한다면 folder-3 → folder-2 → folder-1 순서로 재귀 접근이 필요할 것이다.
클로저 테이블 방식은 다음과 같은 테이블 구조를 가진다.
-- folders 테이블 (기본 정보) | id | name | parent_id | |----------|---------|-----------| | folder-1 | 문서 | NULL | | folder-2 | 2024년 | folder-1 | | folder-3 | 1분기 | folder-2 | | folder-4 | 사진 | NULL | -- folder_closures 테이블 (모든 조상-후손 관계) | ancestor_id | descendant_id | depth | |-------------|---------------|-------| | folder-1 | folder-1 | 0 | -- 자기 자신 | folder-1 | folder-2 | 1 | -- 문서 → 2024년 | folder-1 | folder-3 | 2 | -- 문서 → 1분기 (손자) | folder-2 | folder-2 | 0 | -- 자기 자신 | folder-2 | folder-3 | 1 | -- 2024년 → 1분기 | folder-3 | folder-3 | 0 | -- 자기 자신 | folder-4 | folder-4 | 0 | -- 자기 자신
클로저 테이블엔 상위 객체/하위 객체/루트 기준 깊이(depth)가 저장된다.

1. 전체 경로 조회

folder-3의 전체 경로를 조회한다면 다음과 같이 쿼리를 작성하면 된다.
-- folder-3 ("1분기")의 전체 경로 조회 SELECT f.id, f.name, fc.depth FROM folders f JOIN folder_closures fc ON f.id = fc.ancestor_id WHERE fc.descendant_id = 'folder-3' AND fc.ancestor_id != fc.descendant_id -- 자기 자신 제외 ORDER BY fc.depth DESC; -- 결과: | id | name | depth | |----------|--------|-------| | folder-1 | 문서 | 2 | | folder-2 | 2024년 | 1 |
재귀 없이 단 한 번의 Join으로 전체 경로를 조회할 수 있다.

2. 특정 폴더의 모든 하위 파일/폴더 조회

-- "문서" 폴더(folder-1) 하위의 모든 파일 조회 SELECT f.* FROM files f WHERE f.folder_id IN ( SELECT descendant_id FROM folder_closures WHERE ancestor_id = 'folder-1' ); -- "문서", "2024년", "1분기"의 모든 파일을 한 번에 조회

3. 특정 폴더의 직접적인 하위 파일/폴더만 조회

-- "문서" 폴더의 직접적인 자식만 조회 (depth 1) SELECT f.* FROM folders f JOIN folder_closures fc ON f.id = fc.descendant_id WHERE fc.ancestor_id = 'folder-1' AND fc.depth = 1; -- 결과: "2024년" 폴더만 반환

4. 폴더 이름 변경

-- "2024년" 폴더를 "2024년도"로 변경 UPDATE folders SET name = '2024년도' WHERE id = 'folder-2'; -- folder_closures 테이블은 변경 불필요! -- 이름만 바뀌었을 뿐 관계는 그대로이기 때문

클로저 패턴의 한계

1. 저장 공간

모든 계층 관계를 저장해야 하기 때문에 공간이 많이 필요하다.
N개 노드의 완전 트리 → O(N²) closure 레코드
예) 10,000개 폴더 × 평균 depth 5 = 약 50,000개 closure 레코드
하지만 실제 파일 시스템은 완전 트리가 아니고 (평균 depth 3~4), RDB의 인덱스를 활용하면 효율적으로 사용 가능하다.

2. 폴더 이동의 복잡성

폴더를 다른 위치로 이동할 때는 closure 테이블 재계산이 필요하다:
BEGIN TRANSACTION; -- 1. 기존 조상 관계 삭제 DELETE FROM folder_closures WHERE descendant_id IN ( SELECT descendant_id FROM folder_closures WHERE ancestor_id = @movingFolderId ) AND ancestor_id IN ( SELECT ancestor_id FROM folder_closures WHERE descendant_id = @movingFolderId AND ancestor_id != descendant_id ); -- 2. 부모 변경 UPDATE folders SET parent_id = @newParentId WHERE id = @movingFolderId; -- 3. 새로운 조상 관계 추가 INSERT INTO folder_closures (ancestor_id, descendant_id, depth) SELECT super.ancestor_id, sub.descendant_id, super.depth + sub.depth + 1 FROM folder_closures super CROSS JOIN folder_closures sub WHERE super.descendant_id = @newParentId AND sub.ancestor_id = @movingFolderId; COMMIT;
이 과정이 부모 참조 방식보다는 복잡하지만, 트랜잭션으로 데이터 정합성을 보장할 수 있다.
 

결론

계층 구조 조회는 DB의 클로저 테이블에서 담당하도록 하고, 객체 스토리지는 ‘파일을 안전하게 저장하는 역할’만을 가져가도록 했다.
  • MinIO: 파일을 UUID key로 flat한 구조로 저장
    • 실제 파일을 저장하는 스토리지
    • 수평적 확장이 가능함
  • RDB: 폴더 계층 구조, 파일 메타데이터, 경로 정보를 관리
    • 폴더 기반 계층 구조 관리
    • 검색, 정렬 등 조회 요구사항 수행
  • ✅ 파일 목록 조회: 성능 최적화 (O(1) JOIN)
  • ✅ 폴더 이름 변경: 간단 (closure 변경 불필요)
  • ⚠️ 폴더 이동: 다소 복잡 (하지만 빈도가 낮음)
  • ⚠️ 추가 저장 공간 필요 (하지만 실용적 수준)
 
결과적으로, MinIO 기반의 객체 스토리지 구조는 그대로 유지하면서 사용자에게는 Google Drive처럼 자연스러운 폴더 경험을 제공할 수 있는 현실적인 절충점이라고 판단했다.

후기

이번 경험을 통해 느낀 것은 크게 세 가지였다.
첫 번째로 프론트엔드 개발자는 주어진 API를 사용하는 데서 역할이 끝나지 않는다는 점이었다. 사용자 경험을 기준으로 삼으면 자연스럽게 시스템의 제약과 그 이유를 묻게 되고, 그 질문이 설계 논의로 이어질 수 있다는 것을 배웠다.
MinIO나 객체 스토리지에 대해 깊이 알고 시작한 프로젝트는 아니었지만 그 구조적 제약을 이해하려고 노력하는 과정에서, 아키텍처 결정에 대해 함께 고민하고 의견을 나눌 수 있었던 경험 자체가 인상 깊게 남았다.
두 번째로 느낀 것은 완벽한 설계는 없고, 결국 모든 선택은 성능과 편의성 사이의 트레이드오프 위에 놓인다는 것이다. 어떤 기술이든 아키텍처든, 사용자의 요구사항과 프로젝트가 놓인 상황&환경이 어떻냐에 따라 좋고 나쁨을 판단하는 기준이 달라질 수 있다. 마지막으로, 기술 지식 학습의 중요성을 깊이 체감했다. 이번 경험은 문제를 더 잘 풀기 위해서는 특정 기술 하나가 아니라, 다양한 아키텍처와 CS 지식을 평소에 이해하고 있어야 한다는 사실을 다시 한 번 느끼게 해주었다.