터보퍼퍼(turbopuffer)가 벡터 인덱스를 저장 구조의 중심에서 내려놓는다. 서버리스 벡터 데이터베이스로 출발한 이 회사는 문서와 색인을 배치하는 방식을 바꿔 텍스트·정규식·벡터 검색을 개선하고, 더 많은 SQL 질의를 처리할 토대를 마련하겠다고 밝혔다. 제목은 ‘벡터 데이터베이스의 종말’을 선언하지만, 실제로 없애려는 것은 벡터 검색이 아니라 다른 기능까지 벡터 인덱스에 맞춰야 했던 설계다. 오랜 최적화가 새 기능의 제약으로 바뀌는 과정을 보여주는 사례다.
핵심 요약
- 터보퍼퍼 v3는 근사 최근접 이웃 검색용 인덱스를 주 인덱스에서 보조 인덱스로 바꿔, 벡터 검색 중심의 저장 구조를 벗어나려 한다.
- 기존 구조는 객체 스토리지에서 벡터를 찾는 데 효과적이었지만, 집계와 대량 스캔 같은 질의에는 문서 배치 방식이 제약이 됐다.
- 문서 하나에 벡터가 여러 개 붙으면 내용이 중복 저장되고, 벡터 재배치 때는 속성과 역색인까지 함께 움직여 쓰기 비용이 커진다.
- 터보퍼퍼는 과거 전문 검색 인덱스의 블록 크기를 바꿔 저장 공간을 10분의 1로 줄이고 질의를 최대 20배 빠르게 한 경험을 새 구조의 근거로 제시했다.
- v3는 현재 지속적 통합 테스트를 모두 통과한 단계이며, 회사는 실제 서비스 적용에 앞서 성능 수치를 공개하며 기존 수준에 도달하겠다고 밝혔다.
벡터 데이터베이스에서 검색 엔진으로
터보퍼퍼는 처음에 서버리스 벡터 데이터베이스로 출시됐다. 객체 스토리지를 데이터의 기준 저장소로 삼아 비용을 낮추고, NVMe SSD와 메모리를 계층형 캐시로 사용해 검색 속도를 확보하는 구성이었다. 회사는 커서(Cursor)와 노션(Notion)을 초기 고객으로 들며, 저렴하면서 충분히 빠른 벡터 검색에 수요가 있었다고 설명한다. 당시 제품의 목적은 명확했다. 많은 벡터 가운데 질의와 가까운 것을 찾는 일이었다.
이후 제품에는 텍스트 검색과 정규식 검색이 더해졌고, 리니어(Linear)의 동기화 엔진처럼 검색 밖의 용도에도 쓰이기 시작했다. 질의 엔진은 새 작업에 맞춰 확장됐지만, 저장 구조의 중심은 여전히 ANN(근사 최근접 이웃 검색) 인덱스였다. 그룹별 묶기인 GROUP BY와 집계처럼 벡터 유사도와 관계없는 작업도 그 구조를 따라야 했다. 터보퍼퍼는 이 설계를 더 밀어붙이기보다, ANN을 여러 보조 인덱스 중 하나로 바꾸기로 했다.
ID와 벡터만 있던 첫 버전
v1에서 문서는 ID 하나와 벡터 하나로 이뤄졌다. 터보퍼퍼는 당시 널리 쓰이던 그래프 기반 벡터 인덱스보다 계층적 군집화 인덱스가 객체 스토리지에 잘 맞는다고 판단했다. 처음에는 SPANN을 사용했고, 나중에는 데이터가 들어올 때마다 인덱스를 갱신할 수 있도록 SPFresh로 옮겼다. 벡터를 묶은 군집의 중심점을 다시 묶는 과정을 반복해, 맨 위에 하나의 뿌리가 있는 나무 형태를 만든다.
이 구조에서는 군집마다 군집 ID를 주고, 군집 안의 벡터마다 로컬 ID를 준다. 두 값을 합친 ‘ANN 주소’가 벡터와 문서 ID를 찾는 열쇠였다. 저장 계층은 정렬된 고유 키를 가진 키·값 구조였고, 데이터는 이 주소 아래에 놓였다. 터보퍼퍼가 ANN을 ‘주 인덱스’라고 부르는 이유도 여기에 있다. 벡터를 찾는 경로가 다른 데이터를 찾는 출발점이기도 했기 때문이다.
속성 필터와 전문 검색을 얹다
고객은 곧 벡터 검색 결과를 문서의 속성값으로 걸러내길 원했다. 터보퍼퍼는 특정 속성값을 가진 문서의 ANN 주소를 모아두는 역색인(값에서 해당 문서를 거꾸로 찾는 색인)을 만들었다. 검색 결과에 속성을 함께 보여주기 위해 문서의 속성도 벡터와 ID 곁에 저장했다. 벡터가 어느 군집에 속하는지가 속성 데이터의 저장 위치까지 결정하는 방식이었다.
전문 검색도 같은 토대 위에 추가됐다. BM25(단어 출현 횟수와 문서 길이 등을 반영하는 검색 점수 방식)를 쓰려면 검색어가 들어 있는 문서 목록뿐 아니라, 각 문서에서 단어가 나온 횟수와 문서 길이도 필요하다. 터보퍼퍼는 이 목록에 ANN 주소와 점수 계산용 정보를 담았다. 이후 집계, 정규식 검색, 유사 문자열 매칭, 희소 벡터 검색, 속성 정렬까지 도입했지만 저장 구조의 중심은 그대로였다.
벡터 검색에 강했던 설계의 대가
기존 구조를 오래 유지한 데는 이유가 있다. 터보퍼퍼는 단일 인덱스에 1000억 개가 넘는 벡터를 담고, 초당 1000건이 넘는 질의를 처리하면서 읽기 지연 시간의 99백분위값을 200밀리초로 유지한 성과를 제시했다. 회사는 저장 구조를 크게 바꾸면 이런 ANN 검색 성능이 후퇴할 위험이 있다고 본다. v3가 넘어야 할 기준은 새 질의를 빠르게 처리하는 데 그치지 않고, 이미 확보한 벡터 검색 성능도 지키는 것이다.
반면 벡터 하나가 문서 하나에 대응하지 않을 때는 비용이 커진다. 한 문서를 여러 벡터로 표현하는 중첩 문서나 후기 상호작용 방식에서는 벡터마다 문서 내용을 복제해야 한다. 벡터 주소 아래에 문서 전체를 저장하는 규칙이 중복의 원인이다. 터보퍼퍼는 이 저장 공간 증가가 제품의 일부 제한으로 이어졌다고 설명한다.
쓰기 작업에도 같은 연결 관계가 부담이 된다. 문서를 넣거나 고치거나 지울 때 SPFresh는 검색 정확도가 떨어지지 않도록 벡터 군집을 재조정할 수 있다. 벡터가 새 ANN 주소로 이동하면 그 주소를 참조하는 문서 내용과 속성·전문 검색 역색인도 따라 움직여야 한다. 벡터 하나를 고치는 작업이 수백 개 속성과 관련 인덱스의 이동으로 번질 수 있다는 뜻이다. 회사는 색인 처리량을 조정하는 기존 방법의 효과가 점차 줄었다고 밝혔다.
군집 크기에 묶인 일괄 처리
현대적인 질의 엔진은 값을 한 건씩 처리하기보다 여러 건을 묶어 처리한다. 이런 벡터화(값 묶음을 한 번에 처리하는 방식)는 반복 비용을 줄이고 압축과 CPU 활용에도 유리하다. 하지만 작업마다 적합한 묶음 크기는 다르다. 터보퍼퍼가 든 예에서 덕DB(DuckDB)는 2048행씩 처리하고, 클릭하우스(ClickHouse)는 최대 약 6만5000행을 묶는 반면, 자사 ANN 인덱스는 문서 약 100~200개짜리 군집에서 가장 잘 동작한다.
벡터 중심 저장 구조에서는 문서 자체를 읽는 집계나 스캔도 그 군집 크기에 묶인다. 더 큰 블록으로 읽어 CPU를 충분히 활용하고 싶어도 문서가 ANN 군집별로 나뉘어 있기 때문이다. 터보퍼퍼는 전문 검색에서 이미 배치 방식의 차이를 확인했다. 초기 버전의 검색어별 문서 목록은 ANN 군집에 맞춰 나뉘어 블록당 중앙값이 약 1.5건에 불과했지만, 이를 약 256건의 고정 블록으로 바꾸자 인덱스는 10배 작아지고 질의는 최대 20배 빨라졌다.
검색어별 문서 목록은 문서 본체와 따로 저장하면서 문서를 가리키므로 군집 경계에서 벗어날 수 있었다. 반면 집계가 읽는 문서 본체는 여전히 군집마다 한 블록으로 배치돼 있다. ANN 주소를 주 키로 쓰는 한, 다른 질의가 원하는 블록 크기를 독립적으로 선택하기 어렵다. 터보퍼퍼가 말하는 ‘제한된 벡터화’는 벡터 연산이 부족하다는 뜻이 아니라, 여러 값을 묶어 처리하는 질의 엔진의 효율을 저장 배치가 가로막는다는 뜻이다.
ANN 주소를 주 키에서 내리는 v3
v3의 핵심 변경은 문서를 더 이상 ANN 주소를 기준으로 저장하지 않는 것이다. 터보퍼퍼는 문서와 인덱스의 배치, 쓰기, 압축·정리, 질의 방식을 함께 바꾸고 있다. ANN은 사라지지 않고 보조 인덱스가 된다. 회사의 목표는 텍스트·정규식·벡터 검색을 개선하는 동시에, 더 많은 SQL 질의를 빠르게 처리할 수 있는 기반을 만드는 것이다.
터보퍼퍼는 이달 초 v3가 지속적 통합(CI) 테스트를 모두 통과했다고 밝혔다. 우선 정확하게 동작하도록 만든 단계이며, 이제 성능을 기존 수준까지 끌어올린 뒤 더 개선하는 작업을 하겠다는 설명이다. 향후 몇 주 동안 벤치마크를 공개한 뒤 실제 서비스에 적용할 계획이다. 회사가 밝힌 현재 전체 서비스 규모는 문서 1조 개 이상, 초당 쓰기 1000만 건 이상, 초당 질의 2만5000건 이상으로, 앞서 제시한 단일 벡터 인덱스의 성능 수치와는 구분해 봐야 한다.
커뮤니티 의견
한 사용자는 이 변경을 기존 관계형 데이터베이스의 인덱스 설계 차이와 비교했다. 보조 인덱스가 바뀌기 쉬운 위치를 가리키면 데이터를 옮길 때 갱신 비용이 커지고, 안정적인 식별자를 거치면 조회 경로가 한 단계 늘어나는 대신 쓰기 부담을 줄일 수 있다는 주장이다. 그는 터보퍼퍼의 선택을 조회 비용과 재색인 비용 사이의 교환으로 봤다.
다른 사용자는 이 흐름이 NoSQL 데이터베이스를 떠올리게 한다고 했다. 새 종류의 데이터에 특화한 제품이 등장해도, 시간이 지나면 기존 SQL 데이터베이스가 필요한 기능을 갖출 수 있다는 관점이다. 그는 당분간 데이터 저장에는 전통적인 SQL 데이터베이스를 계속 쓰겠다고 했다.
한 사용자는 ‘벡터 데이터베이스’라는 이름부터 되짚었다. 이런 제품은 처음부터 벡터 저장 자체보다 정보 검색에 가까웠는데, 벡터라는 명칭이 너무 오래 남았다는 주장이다. 이에 대한 답글에서는 그렇다면 기존 검색 엔진과 가격, 성능, 기능으로 직접 경쟁해야 한다는 반론이 나왔다.
직접 코드 그래프 도구를 만드는 사용자는 인기 있는 벡터 데이터베이스들의 성능에 실망한 뒤, SQLite 기반의 여러 데이터베이스와 별도 벡터 인덱스를 조합했다고 설명했다. 그는 자신의 경우에도 데이터가 자주 바뀌면서 재계산을 줄이는 일이 가장 큰 과제로 남았다고 했다. 읽기 성능만이 아니라 변경 작업의 비용이 설계를 좌우한다는 경험담이다.
란스DB(LanceDB)를 쓰는 한 사용자는 그 제품도 ANN을 보조 인덱스로 다룬다고 말했다. 그의 설명에 따르면 문서 행은 별도 조각에 남아 있고 벡터 인덱스가 이를 움직이지 않는다. 터보퍼퍼 v3의 방향이 완전히 새로운 발상만은 아니라는 비교다.
한 사용자는 v3 현황 대시보드의 그래프가 갱신되지 않은 이유를 물었다. 답글에서는 대시보드는 동작 중이며, 성능 최적화를 설명하는 개발 기록을 올릴 때 그래프도 갱신하겠다고 답했다. 공개된 진행 상황을 독자가 확인할 수 있어야 한다는 기대와 개발 기록을 쓰는 데 걸리는 시간 사이의 간극이 드러났다.
또 다른 사용자는 기존 수준에 도달했다는 벤치마크를 볼 때 초당 1000건 이상의 질의와 같은 규모에서 99백분위 지연 시간도 확인하고 싶다고 했다. 평균적인 속도만이 아니라 많은 요청이 몰릴 때 느린 쪽의 응답 시간을 보겠다는 뜻이다. 이는 터보퍼퍼가 새 구조의 성능을 공개하겠다고 한 만큼, 기존 ANN 성능과 직접 비교할 수 있는 수치를 요구한 의견이다.
마지막으로 한 사용자는 문서에 벡터가 여러 개일 때 속성을 매번 복제하는 문제에 공감하며 새 주 인덱스가 무엇인지 물었다. 답글은 내부에서 자동 생성하는 ‘세그먼트 ID와 문서 ID’ 조합이며, 사용자가 문서에 부여한 id는 저장 계층의 보조 인덱스가 된다고 설명했다. ANN 주소에서 문서의 안정적인 식별 경로로 중심을 옮긴다는 논의를 구체화한 답변이다.
핵심 통찰
터보퍼퍼의 변경은 벡터 검색을 포기하는 일이 아니라, 벡터 검색에 잘 맞는 저장 방식이 모든 질의의 기준이 될 필요는 없다는 판단이다. 핵심은 문서의 위치와 ANN 군집을 분리해 중복 저장과 재색인 부담을 줄이고, 질의마다 알맞은 크기로 데이터를 읽을 여지를 만드는 데 있다. 다만 설계상 여지가 실제 개선으로 이어지는지는 공개될 벤치마크가 보여줘야 한다. 특히 기존 대규모 벡터 검색의 99백분위 지연 시간을 지키면서 쓰기·집계·텍스트 검색을 얼마나 개선하는지가 관건이다.
토론: Hacker News