지난 몇 년간 데이터베이스 분야 학회를 다녀오면서 조금씩 변화하는 분위기를 체감하고 있습니다. 이번에는 왜인지 그런 점이 크게 느껴졌는데요, 꼭 엄밀한 분석은 아니지만 개인적으로 생각한 바를 적어보려고 합니다.
첫번째는 중국 연구자들의 약진입니다. 금년 SIGMOD 2026에서 발표된 논문들에 대해 다소 기계적으로 세어본 결과, 논문 수 기준 상위 10개 기관이 모두 중국과 싱가포르에 위치한 곳들이었습니다. 단순히 논문 개수가 많다고 해서 전부는 아니겠지만, 여러 개의 기관들이 고루 많은 수의 논문을 내놓고 있다는 점은 충분히 인상적입니다. Power law처럼 소수의 기관에 논문이 편중되는 패턴도 흥미롭습니다. 이전 연도들과 비교하면 더 의미있게 관찰해 볼 수도 있겠지만 생략하도록 하겠습니다.
그런데 그렇다면, 비중국, 비싱가포르 기관으로 상위 25개 내에 든 기관들은 어느 곳일까요? Microsoft, UNSW, Google, UC Berkeley였습니다. 물론 여기에는 Microsoft Research Asia가 있을 수도 있고, 중국인 연구자가 해외 기관 소속으로 다작한 경우도 있을 수 있지만, 데이터베이스 분야에서 꾸준히 존재감을 드러내고 있는 곳들이 어디인지는 확 와닿습니다. 개인적으로는 UC Berkeley의 7편이 눈에 들어옵니다.
두번째는 논문들이 다루고 있는 주제들의 변천입니다. 첫 인상으로 세션명과 논문 제목들을 훑어보았을 때에는 막연하게 벡터 검색과 관련된 연구들이 정말 많다고 생각했는데, 실제 분석을 해보니 더욱 흥미로운 결과를 확인할 수 있었습니다. 바로 LLM과 연관된 논문들이 단일 클러스터로는 가장 큰 크기를 차지하는 것이었습니다. 이 분석은 논문들의 제목+초록을 텍스트 임베딩으로 변환한 뒤 클러스터링을 수행하고, 각 클러스터에 대한 텍스트 빈도 분석을 통해 대표적인 단어들을 추출한 결과라서 아주 정밀하지는 않지만 전반적인 경향성을 보여주는 데에는 문제가 없다고 생각합니다. 이외에는 클러스터들이 다소간 애매하게 묶이기는 한 것처럼 보이기는 하지만 데이터베이스에서 등장하는 전형적인 문제들이나 데이터마이닝에서 관심 갖는 주제들, 스토리지, 그래프 등이 보였습니다. 그리고 GPU와 KV cache가 자기들만의 작은 클러스터를 이루고 있는 점도 재미있었습니다.
전반적으로 주제의 다양성은 어느 정도 유지되는 가운데 특히 각광받는 주제들이 있어서, 앞으로는 또 어떤 변화가 있을지 궁금해집니다.
한편, 논문 발표 세션들 또한 약간은 다른 분위기로 진행되었습니다. 학회에서 발표해야 하는 논문의 개수는 늘어나는 반면, 실질적인 학회 진행 기간은 3일 정도로 동일하기 때문에 각 논문에 할당할 수 있는 시간이 상당히 제한되었습니다. 각 발표가 9분+질의응답 1-2분 수준으로 제한됨에 따라, 주제에 익숙한 청중이라면 논문의 전반적인 내용을 이해하는 데에 문제는 없겠지만, 꼭 그렇지 않은 경우가 많다보니 논문에서 풀고자 하는 문제가 무엇인지, 해법의 방향성은 무엇인지 정도를 소개하고 마치게 되어 다소 아쉬웠습니다. 대신 예년과 같이 구연 발표에 대한 보충으로서 포스터 발표를 저녁마다 전체(plenary) 세션으로 진행함으로써 질의응답을 더 알차게 채워나갈 수 있었습니다.
우리 연구실에서는 이번에 두 편의 논문을 한 세션에서 발표했습니다!
Counting Is All You Need for Instant Tuple Discovery: Enabling Real-Time HTAP in Standalone DBMSs와 Translytical Processing via DB-OS Co-Designed Buffer: Cross-Engine Isolation and Tunable Update Visibility for HTAP으로, Storage & Query Processing 세션에서 발표했습니다.
논문의 핵심 아이디어를 아래에서 함께 보시죠.
single-node HTAP 시스템에서 데이터의 레이아웃을 변환하는 것은 한정된 자원으로 인해 현실적인 어려움이 따릅니다. 한 가지 방법으로는 LSM 트리와 같이 데이터를 점진적으로 변환하는 progressive ETL 기법을 사용할 수 있으나, 이는 데이터의 위치를 실시간으로 변화시키기 때문에 접근하고자 하는 튜플의 위치를 특정지을 수 없다는 문제를 가지게 됩니다. 이를 해결하기 위해 이 논문에서는 간단한 counting만으로 튜플의 위치를 실시간으로 정확하게 특정지을 수 있는 Tracer라는 기법을 제시합니다.
Tracer는 마치 항공사의 티켓 발급 시스템과 같이 튜플이 INSERT되는 시점에 튜플의 위치정보를 미리 확정지어 발급해줍니다. 이를 가능하게 하는 핵심 관찰은 (1) 튜플이 거쳐갈 파티션의 경로가 INSERT 시점에 확정될 수 있고 (2) 데이터의 변환 과정에서 INSERT된 순서를 보장해준다면, 튜플이 거쳐갈 각 파티션에서의 INSERT 순서가 곧 해당 파티션에서의 offset이 될 수 있다는 점입니다.
이에 따라 Tracer는 튜플을 INSERT할 때 해당 튜플이 거쳐갈 파티션 마다 순번을 발급받아 저장한 뒤, 나중에 위치를 특정지어야 할 때는 파티션에서 빠져나간 튜플의 수와 미리 발급받은 순번의 차이를 계산하여, 해당 시점에 튜플이 해당 파티션에서 몇 번째에 위치해 있는지를 특정지을 수 있습니다.
이 논문은 해당 기법을 통해 오픈소스 엔진인 PostgreSQL에 progressive ETL을 구현하였으며 종합적인 성능을 OLTP/OLAP 엔진들과도 비교하였으니, 자세한 메커니즘 및 실험 결과는 논문을 참고해주시기 바랍니다.
VISTA라는 이름이 붙여진 이 논문의 시스템은 서로 다른 엔진(OLTP, OLAP 특화)을 함께 사용하는 single-node HTAP 시스템에서 저비용으로 OLTP 업데이트를 OLAP에게 노출시키면서 이를 조절가능하게(tunable) 만드는 것을 목표로 합니다. 기존의 시스템들이 아키텍처에 따라 Isolation 또는 Freshness 중 한 쪽을 선택한 반면, VISTA는 Isolation과 Freshness간의 상충관계 속에서 유연하게 선택할 수 있는 옵션을 제공합니다.
이를 위해 VISTA는 잘 알려져있지만 실제로는 거의 활용되지 않는 OS의 1G huge page를 활용합니다. Huge page에 기반한 1GB의 virtual memory segment를 하나의 버퍼 풀로 사용하고, 이것을 단 한번의 page table entry remapping만으로 다른 프로세스의 주소공간에 노출시킴으로써 엔진간 업데이트 제공을 가능하게 합니다.
물론 이러한 시스템을 가능하게 하기 위해 OLTP 엔진에서는 버퍼풀을 세대 단위로 관리하는 generational buffer management가 필요하고, OLAP 엔진에서는 디스크와 인-메모리 버퍼를 일관성 있게 읽어내기 위한 hybrid data access path가 요구됩니다.
오늘날 가장 사랑받는 오픈소스 엔진들인 PostgreSQL과 DuckDB상에 구현되었고, 특히 이 둘을 연결하기 위한 커뮤니티 솔루션들인 pg_duckdb, DuckDB's Postgres Extension과도 비교하였으니 상세한 내용은 논문을 참고해주시기 바랍니다.
개인적으로는 포스터 세션에 스토리지 엔진, HTAP에 많은 관심을 가진 분들이 찾아와서 깊은 대화를 나눌 수 있었던 것이 의미있었습니다. 사실 학회의 목적은 기계적으로 세션에서 발표하는 것보다는 이렇게 의견을 교환하고 서로를 알아가는 데에 있을 것 같은데, 작금의 사정이 그런 환경을 조성해주는지는 잘 모르겠어서 아쉽습니다.
하드웨어를 열심히 써먹기 위한 연구를 하고 있는 우리 연구실에 가장 도움이 되는 DaMoN 워크샵에 다 같이 참여하였습니다.
먼저 하드웨어 가속기 측면의 메세지는 “어떤 하드웨어가 빠른가”보다 “이기종 하드웨어를 DBMS 실행 엔진 안에 어떤 추상화로 넣을 것인가”에 있었으며, 대표적으로 키노트 발표의 <CoddSpeed: Hardware Accelerated Query Processing in Microsoft Fabric>가 방향을 잘 보여줍니다. 이 연구는 기존의 분석 쿼리 처리에서 다양한 하드웨어 가속기가 큰 성능 향상을 줄 수 있음에도, 기존 DBMS는 CPU 중심으로 설계되어 있기 때문에 이를 프로덕션 환경에 안정적으로 통합하기 어렵다는 점에 집중하였으며, 이를 해결하기 위해 Microsoft Fabric Data Warehouse 내부에서 다양한 이기종 하드웨어를 공통 실행 계층으로 다룰 수 있는 추상화 계층을 구축하였습니다. 항상 새로운 컴포넌트 및 하드웨어가 등장하고 연구된 뒤에는 이들을 통합할 수 있는 추상화 계층이 연구되었던 것으로 보이는데, 이번 키노트 발표를 보고 DBMS에서의 하드웨어 가속기 사용에 대한 연구도 이에 진입하는 시점이 되었다는 생각이 들었습니다.
이 발표는 Microsoft의 두 분이 번갈아 가면서 합동으로 진행했는데요, 재밌는 것은 이분들이 2023년도 DaMoN에서도 Xbox같은 게이밍 콘솔을 가지고 데이터 처리를 하기 위한 방법을 발표한 적이 있었다는 점입니다. 그런 경험들이 계속해서 이어져서 CoddSpeed 같은 시스템을 만드는데 응용이 된 것 같아 보이네요.
(출처: Matteo Interlandi, Nicolas Bruno, Brandon Haynes, Carlo Curino, Rathijit Sen, Yinan Li, Kaushik Rajan, Bailu Ding, Lukas M. Maas, Wei Cui, Kevin Gaffney, Mingsheng Hong, Brian Kroth, Sampath Rajenda, Peng Cheng, Surajit Chaudhuri, Johannes Gehrke, Raghu Ramakrishnan, Lidong Zhou, Momin Al-Ghosien, Craig Peeper, Marius Dumitru, Conor Cunningham, Kevin Bocksrocker, Prasanna Sundar, Ron Boskovic, YongChul Kwon, Marko Zivanovic, Runbin Shi, Krystian Sakowski, Denis Lamtsov, Josep Aguilar Saborit, Krish Srinivasan, Adarsh Kapil, Andrew Putnam, Anudeep Kambapu, Aparna Konduri, Aaron Landy, Aaron Moore, Aaron Pitman, Artem Oks, Ashit Gosalia, Babu Kandimalla, Blake Pelton, Bogdan Crivat, Cesar Galindo-Legaria, Chidamber Kulkarni, Jesus Camacho Rodriguez, Evgeny Babin, Hans Lehnert Marino, Igor Konev, Israel Arroyo, Luis Penaranda, Mandar Datar, Morten Borup Petersen, Nicholas Simmons, Parminder Poonian, Pravija Danda, Rob Rydberg, Esteban Calvo, Ronak Bajaj, Sai Sumanth Kammal Shetty, Sharanya Bhat, and Zach Iracheta. 2026. CoddSpeed: Hardware Accelerated Query Processing in Microsoft Fabric. In Companion of the International Conference on Management of Data (SIGMOD Companion '26). Association for Computing Machinery, New York, NY, USA, 359–372. https://doi.org/10.1145/3788853.3803077)
(출처: Marcus Müller and Viktor Leis. 2026. BareHeap: Virtual Memory Assisted Memory Allocation for High Performance Query Processing. In 22nd International Workshop on Data Management on New Hardware (DaMoN ’26), May 31-June 05, 2026, Bengaluru, India. ACM, New York, NY, USA, 7 pages. https://doi.org/10.1145/3789237.3809126)
다음으로 메모리와 스토리지 계층에서는, 운영체제의 가상 메모리나 스토리지의 특성 및 설계와 같은 저레벨 메커니즘이 더 이상 시스템 내부의 세부 구현이 아니라 DBMS 설계에 고려되어야 하는 요소임을 시사하였으며, <BareHeap: Virtual Memory Assisted Memory Allocation for High Performance Query Processing> 논문은 이를 가상메모리 측면에서 보여주었습니다. BareHeap은 일반적인 malloc이나 Linux mmap 기반의 메모리 할당 과정이 TLB shootdown과 범용 메모리 할당기의 오버헤드때문에 DBMS 워크로드에 최적화되어 있지 않다고 주장하였으며. 이를 해결하기 위해 unikernel 환경에서 물리 메모리는 재사용하되 가상 메모리 주소는 매번 새로 할당하여 TLB shootdown을 제거하였습니다. 이외에도 스토리지와 메모리에 관한 연구들이 소개되었으며, DBMS를 단순한 하나의 응용이 아닌 하나의 시스템으로 바라볼 때, 설계의 관점을 어디까지 넓혀야 하는지를 일깨워주었던 내용이었습니다.
(출처: Jigao Luo, Qi Chen, and Carsten Binnig. 2026. Do GPUs Really Need New Tabular File Formats?. In 22nd International Workshop on Data Management on New Hardware (DaMoN ’26), May 31-June 05, 2026, Bengaluru, India. ACM, New York, NY, USA, 6 pages. https://doi.org/10.1145/3789237.3809125)
데이터 포맷 측면에서는 Parquet, FSST, JSON 같은 구체적인 데이터 표현 방식이 매우 전면적으로 다뤄졌습니다. 작년에도 compression이나 encoding을 다룬 연구가 있었지만, 올해는 데이터 포맷이 단순한 저장 형식이 아니라 쿼리의 성능을 좌우하는 핵심 구성요소로 다뤄졌다는 점이 다르게 보였습니다.
이 중 흥미로웠던 논문은 <Do GPUs Really Need New Tabular File Formats?>입니다. 이 논문은 기존 Parquet이 GPU에서 느린 이유가 포맷 자체의 한계라기보다 CPU 중심의 환경 설정 때문이라고 주장하며, Parquet의 스펙을 바꾸지 않고도 GPU의 병렬성을 극대화할 수 있는 설정 값을 적용하여 유효 읽기 대역폭을 최대 125GB/s까지 끌어올릴 수 있음을 보였습니다. 같은 데이터 포맷이더라도 어떤 하드웨어가 사용할지에 따라 유효한 설정이 다를 수 있다는 점, 그리고 문제의 정확한 원인을 파악하여 유효하고 올바른 해결책을 제안해야 한다는 점을 일깨워준, 올해 DaMoN Best Short Paper로 선정될만한 좋은 연구였다는 생각이 들었습니다.
그 외에도 TUM에서 나왔던 vmcache를 여러 메모리 계층으로 확장할 때 발생하는 페이지 마이그레이션 문제를 다루는 대학원 강의 과제같은 발표도 있었습니다. 워크샵의 특성 상 정규트랙들보다 좀 더 가볍고 하고 싶은 것을 해보는 분위기가 느껴졌습니다. 완성된 논문을 투고하여 발표하는 것도 의미있지만, 아직 준비 중인 단계의 다양한 시도들을 자유롭게 던져보고, 그것에 가장 관심을 갖는 사람들과 함께 이야기할 수 있는 자리가 워크샵이 아닐까 생각했습니다.
세 번의 키노트 스피치가 있었는데요, 지금 돌이켜 보니 주최자 나름대로 주제의 균형을 잘 맞추어 구성했다는 생각이 듭니다.
첫번째로는 Google의 Chief Technologist인 Prabhakar Raghavan 박사님께서 Google에서는 어떤 방식으로 수학 및 컴퓨터공학 연구에 AI를 사용하는 지 발표하였습니다. 최근 에르되시 추측 등 대단히 어려운 문제들을 해결하는데 AI가 유의미하게 활용되었다는 소식들이 들리는데, Google에서도 이런 흐름에 적극 동참하고 있는것으로 보입니다.
그 중 하나가 바로 AlphaEvolve로, LLM들 사용해 증명을 생성하는 프로그램들을 생성하고, 어떤 기준에 따라 만들어진 증명을 자동으로 accept/reject하는 방식으로 문제 해결을 시도하는 것이었습니다. TSP 문제에 이것을 적용해서 유의미하게 증명 개선을 할 수 있었다고 합니다. 개인적인 경험상, LLM에 문제를 정확하게 정의해서 주면 인간 사용자가 이해하기는 어려워도 최적에 가까운 놀라운 해를 찾아주는 것 같습니다.
이러한 과정 자체는 자동화되기는 했어도, 그래도 여전히 결과물에 대한 사람들의 검증, 책임이 필요하다고 얘기하는 것을 보아 검증의 자동화까지는 어려움이 있는 것 같습니다. 하지만 몇 개월 뒤에도 우리는 똑같은 이야기를 할 수 있을까요? 그때 인간 연구자들의 역할은 무엇이 될까요?
위와 같은 질문에 대답하기라도 하듯, 두번째 키노트는 AI, LLM의 시대에 오래된 시스템의 트릭들을 도입할 수 있다는 Tel Aviv 대학의 Tova Milo 교수님의 발표였습니다.
저는 키노트 자체보다도 어떤 학생의 질문이 인상 깊었는데요, 정확한 내용은 기억나지 않지만, 앞으로 5년 뒤의 미래와 연구자의 역할이 어떻게 될 지에 대한 것이었습니다. 사실 이에 대한 답변 자체보다도 SIGMOD 커뮤니티의 고민이 느껴지는 세션이었는데요, 불과 1-2년 전과 다르게 이제는 연구자들이 AI로 인한 변화 속에서 어떻게 적응해야 할 지 진지하게 고민하고 있는 것처럼 보였습니다. 개인적으로는 문제 해결보다도 문제를 정의하고 발굴하는 능력이 핵심이라고 느꼈습니다. 새로운 시스템에 기존의 트릭들을 적용하기 위해서는 어떤 지점이 다르게 제약으로 주어지고, 어떤 지점이 문제로 변할 수 있는 지 알아내는 능력이 중요하다는 얘기니까요.
ETH Zurich의 Gustavo Alonso 교수님께서 해주신 키노트입니다. 어쩌면 이번 SIGMOD의 하이라이트였을지도 모르겠네요.
시작은 말 그대로 경종을 울리는 이야기였습니다. 데이터베이스 커뮤니티는 AI/ML로 인한 시대의 변화 앞에서 불안과 위기감을 느끼고 있습니다. 하지만 무엇이 달라졌을까요? 데이터베이스 연구자들은 마치 북센티넬섬의 주민들처럼 외부와의 접촉을 차단하고 고립되어 있다는 것이 Alonso 교수님의 진단입니다.
이 뿐만이 아닙니다. 우리는 진정한 연구를 잊어버린 채 단기적 이익에만 매몰되고, 최근에 유행하는 것들만을 좇고 있다는 것입니다. 그 예시로 교수님이 드신 것이 learned index입니다(그냥 예시일 뿐이니 learned index 자체는 죄가 없다고 봅니다. Vector index도 유행을 타고 있다는 점에서는 크게 다르지 않을 것 같은데, 교수님께서도 연구를 하고 계시는 만큼 희생양을 다른 데서 찾으신 게 아닐지.....). 그러나 비단 연구가 아니라 어떤 종류의 커뮤니티에서도 유행을 피할 수는 없지 않을까요? 물론 유행에 대한 맹종이 지나쳐서, 원래 있어야 할 자리를 잊게 된다면 분명 문제일 것입니다. 이 리포트의 시작 부분에서 했던 주제-기관에 대한 분석을 조금 더 세밀하게 한다면 인기 주제로의 쏠림 현상이나 커뮤니티 내에서의 분리와 고립 등을 확인해 볼 수 있을지도 모르겠습니다.
물론 이러한 현상을 교수님 한 분이 해결할 수 있는 것은 아니지만, 굳이 키노트에 들고 나온 이유는 커뮤니티의 각성을 촉구하기 위함이 아니었을까요.
본론(?)에서 교수님은 NVIDIA의 하드웨어를 보여주시며 이런 하드웨어가 데이터베이스에도 사용될 것 같은 지 질문을 던지셨습니다. 청중의 반응은 알 수가 없었지만, 교수님의 주장은 결국 데이터베이스를 위한 가속기가 쓰일 수밖에 없다는 것이었습니다. 그러면서 AI의 가장 기초적인 building block인 matrix multiplication이 GPU, NPU 등에서 집중적으로 가속화되고 있음을 지적하고, 데이터 프로세싱에 있어서 MatMul과 같은 기초적인 연산은 무엇이 될 수 있을지 질문을 던지셨습니다.
생각해보면 하드웨어는 소프트웨어와 독립적으로 발전하지 않습니다. 소프트웨어 발전 과정에서 필요한 기능들을 하드웨어가 제공하고, 하드웨어에서 제공하는 기능들을 소프트웨어가 활용해 보면서 더욱 발전하도록 자극을 주기도 합니다. Intel의 Optane과 같은 시도도 있었고, 최근에는 역시 Intel의 DSA나 IAA를 이용한 연구들도 나오고 있습니다. 이로 미루어 보건대, AI에 GPU를 사용하는 것이 처음부터 예정된 일은 아니었던 것처럼, 데이터 프로세싱에 잘 사용할 수 있는 하드웨어가 존재할 것이고, 언젠가는 데이터 프로세싱만을 염두에 둔 하드웨어가 만들어질 수도 있겠습니다.
물론, 이런 주장에 동의하지 않는 분들도 계실테고 저(학회에 참석한 인원 중 한 명) 또한 완전히 동의할 수는 없었습니다만, 교수님의 확고한 비전과 연구자로서의 자세는 학생으로서 대단히 존경스러웠습니다. 키노트 내용도 좋았지만 달라지는 흐름을 맞이하는 프론티어 연구자의 자세를 배울 수 있었습니다.
우리 연구실의 논문이 발표된 이 세션에서는 다른 흥미로운 연구들도 함께 발표되었습니다. 일례로 Best Paper Honorable Mention을 수상한 <F3: The Open-Source Data File Format for the Future>이 있습니다. 저는 이 논문이 어떻게 문제를 해결했는지에 앞서서, 시대의 문제 의식을 반영했기에 상을 받았다고 생각합니다.최근 몇 년간 클라우드 환경이 당연하게 전제시되면서 소위 open file format에 대한 연구가 활발하게 진행되어 왔고, 이번 SIGMOD에서는 FORMATS 워크샵이 개최될 정도였습니다. 더욱 흥미로운 것은 바로 VLDB 2025에서 이 연구와 아주 유사한 연구 논문이 Best Paper를 수상하였다는 것입니다. 동시에 유사한 아이디어의 논문이 나오고, 둘 다 각각 다른 학회에서 수상하였다는 점은 지금의 커뮤니티의 관심사를 분명하게 보여줍니다.
<Analysis and Evaluation of Using Microsecond-Latency Memory for In-Memory Indices and Caches in SSD-Based Key-Value Stores>는 일본 도시바 메모리의 후신인 KIOXIA에서 발표한 논문입니다. 사실 학회에서 보기 전까지는 이름만 보고 특이한 회사라고 생각했는데 알고보니 전세계 3위 플래시 메모리 공급업체이며 일본 증시 시총 1위의 회사였습니다. 데이터베이스 학회에서 일본 기관에서 나온 논문들을 찾기 쉽지 않은지라 눈이 갔고, 특히 CXL에 연관된 연구라서 흥미를 갖게 되었습니다.
보통 CXL을 말하면 CXL-DRAM 구성을 생각하기 마련인데, 여기서는 아마도 내부적으로 개발 중일 플래시 기반 CXL에 대한 연구를 소개합니다. 특징은 접근 지연시간이 10 마이크로초에 달한다는 것인데요, 요즘 SSD의 속도가 비약적으로 빨라진 것을 생각하면 어떤 쓸모가 있을까 고민도 됩니다. 안타깝게도 persistence를 지원하는 것은 아니라고 하나, 메모리 용량을 상당히 많이 확장할 수는 있을 것 같습니다. 그리고 I/O 대역폭을 잡아먹지 않고 안정적인 지연시간을 보장한다면 그 나름대로의 용도를 찾을 수도 있겠습니다.
연구 자체는 SSD기반 KVStore를 이 microsecond-latency 메모리 상에서 지원하기 위한 간단한 소프트웨어적 노력인데요, I/O 과정에서 발생하는 지연을 바탕으로 메모리 접근 지연시간을 숨기는 기법이었습니다. 기법 자체는 간단하지만, 이전에 없던 새로운 장치를 갖고 수행된 연구이다보니 가치있었던 것 같습니다.
UC Berkeley에서 공들이고 있는 주제들이 여럿 발표된 세션이었습니다. <Visual Template Inference for Data Extraction from Documents>는 2026년 가을 NTU에 임용된 Yiming Lin 박사님의 연구로, 어느정도 템플릿이 정해져있는 문서로부터 데이터를 추출해내는 문제를 다룹니다. OCR을 통해서 문서에서 글자를 추출해내고, key-value 값이 시각적으로 일정한 위치에 반복적으로 나타나는 점을 이용하여 일관되게 템플릿을 추정합니다. 재밌는 것은 필드를 추론할 때 어떤 값이 key인지 value인지 의미론적으로 알아내기 위해 보조적인 용도로 LLM을 사용하도록 되어있다는 점입니다. LLM을 사용한 이유는 비싼 추가 학습이 필요하지 않고 호출 횟수가 적게 설계되었기 때문인 것으로 보입니다. 사실 이런 목적을 위한 산업적 솔루션이 이미 있지 않을까 하는 생각도 들고, 결국은 유의미한 규모의 데이터를 구하는 것도 중요하겠다는 생각이 들었습니다.
(출처: Yiming Lin, Mawil Hasan, Rohan Kosalge, Alvin Cheung, and Aditya G. Parameswaran. 2025. Visual Template Inference for Data Extraction from Documents. Proc. ACM Manag. Data 3, 6 (SIGMOD), Article 375 (December 2025), 27 pages. https://doi.org/10.1145/3769840)
이 세션은 EPFL의 Anastasia Ailamaki 교수님께서 세션 체어를 맡았는데, “AI, LLM보다 훨씬 재밌는 연구들의 세션에 온 것을 환영합니다”라고 하면서 세션을 소개하셨습니다. 대단히 어려워보이는 연구들과 실력자들이 많이 보였습니다. <Sublime: Sublinear Error & Space for Unbounded Skewed Streams>은 Honorable Mention을 수상한 연구입니다.
현실의 스트림 데이터는 skew된 형태로 들어오는데요, 즉 어떤 스트림에 서로 다른 데이터들이 균등한 빈도로 들어오는 것이 아니라 몇 개의 데이터에 쏠리는 형태로 관찰됩니다. 여기서 어떤 데이터의 frequency를 측정하고 싶으면 해시를 사용해서 계수하는 방법을 고려할 수 있습니다. 그러나 해시 테이블의 대다수의 엔트리는 작은 수만을 갖게 되고, 소수의 엔트리에 데이터가 집중되지만, 데이터가 많은 쪽에 비트 수를 맞춰야 하므로 필연적으로 메모리 낭비가 발생합니다. 또한, 모든 키를 들고 있는게 아니기 때문에 해시 충돌이 생겨도 엔트리에 그대로 업데이트를 하게 됩니다. 즉, 오차를 가질 수 밖에 없는 디자인인데 고정된 엔트리 수에 전체 데이터 카운트 수가 계속 늘어나니 충돌된 엔트리도 늘어나고 오차가 쌓이는 구조가 됩니다.
이 연구는 비트 수와 해시 엔트리를 가변적으로 만들어서 문제를 해결하였습니다. 가변 길이의 비트 수를 사용해서 메모리를 절약하고, 엔트리의 경우 데이터가 늘어날 때마다 기존의 엔트리를 모두 복사하고, 해시를 한 비트를 더 보게 해서 일관된 접근을 가능하게 했습니다. 이 과정에서 어떤 키들은 빈도의 오차가 커지는데 놀랍게도 그게 일정 수준 이하로 bound가 됩니다. 여기에 전부 담을 수는 없지만 발표가 가장 인상적이고 복잡한 내용을 이해하기 쉽도록 애니메이션을 잘 활용하여 기억에 남습니다.
오늘날 AI가 데이터 처리 과정에 깊숙이 개입하면서, 반드시 결정론적이지만은 않은, 근사적인 결과를 허용하게 되었고, 정확도와 비용(토큰 양, 지연시간 등) 사이의 상충관계를 잘 조절할 수 있는 것이 중요한 문제로 대두하였습니다. 즉, 100%의 정확도를 요구하지 않을 뿐만 아니라 어느 정도의 정확도를 선택할 지 자체가 중요한 비즈니스 의사결정의 영역이 된 것입니다. 이에 맞추어 일정 수준의 통계적인 보장을 제공할 수 있는 시스템에 대한 연구가 지속적으로 주목받고 있습니다. 이에 관련된 세 편의 연구를 소개합니다.
첫번째는 UC Berkeley에서 나온 <Cut Costs, Not Accuracy: LLM-Powered Data Processing with Guarantees>입니다. 이 연구는 LLM을 데이터 처리 파이프라인의 구성 요소로 사용할 때 생기는 문제에 집중합니다. 대량의 데이터에 대해 분류, 필터링 등 작업을 수행할 때 고성능 모델을 사용하면 정확도는 높겠지만 비용이 크고, 반대로 저렴한 모델을 쓰게 되면 정확도에서 손실이 발생합니다. 기존에 이를 해결하기 위해 제안된 방법이 Model Cascade로 저렴한 모델의 confidence score를 바탕으로 비싼 모델을 사용할지를 결정하게 됩니다. 여기서 문제는 어떤 값을 threshold로 삼아야 품질 목표를 달성할 수 있도록 보장할 수 있는지에 있고, 실질적으로 연구의 본 내용은 추정과 샘플링을 개선하는 데에 있습니다. 이렇게 보면 통계학적 연구에 가깝습니다. 그럼에도 불구하고 앞으로 데이터베이스를 연구하고자 하는 사람들은 불확실성과 친해질 필요가 있겠다는 생각이 듭니다.
(출처: Sepanta Zeighami, Shreya Shankar, and Aditya Parameswaran. 2025. Cut Costs, Not Accuracy: LLM-Powered Data Processing with Guarantees. Proc. ACM Manag. Data 3, 6 (SIGMOD), Article 311 (December 2025), 26 pages. https://doi.org/10.1145/3769776)
두번째는 UIUC에서 나온 <Accelerating Approximate Analytical Join Queries over Unstructured Data with Statistical Guarantees>입니다. 이 또한 위 연구와 같은 목표를 가지고 있는데, 다만 대상을 semantic join으로 삼았습니다. 사실 이 논문의 연구책임자인 Daniel Kang 교수님은 이전부터 이와 같은 연구를 진행해왔고, 위에서 언급된 Model Cascade 방법론의 주요 연구들을 직접 수행한 장본인이시기도 합니다. 저는 여기서 어떤 연구 주제가 생명을 얻고 계속해서 이어지는 모습을 보았고, 특히 좋은 문제의식에 기반하여 시작된 주제는 여러 해 동안 유의미하게 다루어질 수 있다고 느꼈습니다.
세번째는 Google에서 진행된 연구로 <100x Cost & Latency Reduction: Performance Analysis of AI Query Approximation using Lightweight Proxy Models: [Experiments & Analysis]>입니다. 산업계에서 나오는 논문은 지금 현장의 관심사가 어디에 있는지 알게 해준다는 점에서 매우 귀중한데요, 이 논문을 바탕으로 소위 semantic operator가 어떤 식으로 쓰일 수 있고, 실제로 야기하는 문제가 무엇인지 알 수 있었습니다. Semantic operator는 LLM을 활용하여 비정형적 데이터에 대한 요약, 분류, 검색 등을 수행해주는 기능인데요, 아래에서 보이는 AI.IF가 좋은 예시입니다. 그런데 LLM을 부르는 것은 비용 측면에서(OLAP을 위한 방대한 데이터셋에 대해 전부 다 LLM모델을 호출하기는 어렵습니다) 그리고 지연시간 측면에서(HTAP에서 LLM모델 호출로 귀중한 시간을 사용하기는 어렵습니다) 부담이 됩니다. 따라서 가벼운 프록시 모델(비LLM)로 하여금 LLM의 출력을 학습하게 하여 LLM의 결과를 근사하자는 아이디어입니다. 구글이 내세우고 있는 Agentic Data Cloud의 비전이 실현되기 위해서는 이런 현실적인 문제가 해결되어야 한다는 생각을 했습니다.
(출처: Yeounoh Chung, Rushabh Desai, Jian He, Yu Xiao, Thibaud Hottelier, Yves-Laurent Kom Samo, Pushkar Khadilkar, Xianshun Chen, Sam Idicula, Fatma Özcan, Alon Halevy, and Yannis Papakonstantinou. 2026. 100x Cost & Latency Reduction: Performance Analysis of AI Query Approximation using Lightweight Proxy Models: [Experiments & Analysis]. Proc. ACM Manag. Data 4, 3 (SIGMOD), Article 125 (June 2026), 23 pages. https://doi.org/10.1145/3802002)
별론이지만, 첫번째 논문의 제1저자가 발표에 참석할 수 없어서 공저자인 Shreya Shankar님이 대신 발표를 하였는데요, 2027년부터 CMU에서 조교수로 출발할 예정이라고 합니다. 데이터베이스와 Human-AI interaction을 다루는 여러 연구들을 수행해왔는데, 앞으로 어떤 모습을 보일지 더욱 기대가 됩니다.
벡터 검색과 관련된 논문들은 정말 많았기 때문에 골라서 이야기하기가 쉽지 않습니다. 그래도 단순히 벡터 검색을 어떻게 빠르게 할 것이냐라는 문제에서 벗어나 여러 가지 시사점이 있었는데요, 그런 단면을 잘 보여주는 연구들을 소개합니다.
<DiskJoin: Large-scale Vector Similarity Join with SSD>은 제목이 모든 것을 말해주는 연구입니다. 벡터 간의 유사성이 어느 수준 이상인(반대로 말하면 차이가 적은) 벡터쌍들을 찾아내는 것을 vector simliarity join이라고 하는데요, 이것을 단순히 알고리즘의 문제가 아니라 캐시 관리와 작업 순서의 문제로 나눠서 해결한 것이 이 논문의 기여입니다. 문제를 풀이하는 것 이전에 문제를 정의하는 감각이 탁월한 논문이었습니다. 제가 잘 아는 분야는 아니지만 논문에 따르면 기존에 디스크 기반 벡터 유사도 조인 문제를 푸는 시스템이 없었다고 하니, 문제 설정이 좋았던 것입니다. 디스크가 제시하는 도전은 항상 비슷하면서도 새롭게 접근되는 점이 흥미롭습니다.
다음으로는 많은 관심을 받은 Best Paper Honorable Mention 수상작인 <Integrating Vector Databases across Embedding Models>입니다. 제목만 들어도 궁금증이 유발되는 것을 보니, 수상할 만한 논문이었다는 생각이 바로 듭니다. 이 논문은 이론에 기반하고 있으면서도 무작정 정답을 제시하는 것이 아니라, 하나의 가설을 제시한 뒤에 이를 평가하고, 그 가설이 성립하지 않자 다른 가설로 향하는 구조를 지니고 있습니다. 핵심 방법론은 동일한 대상을 가리키는 벡터들을 기준으로 삼아서 local isometry들을 구축하고, 이를 기준이 아닌 벡터들에 적용한다는 것입니다. 이 연구를 통해서 좋은 벡터 데이터베이스를 만들기 위해서는 결국 실제 벡터들이 존재하는 임베딩 공간의 특성에 대한 이해도 필요하지 않을까 하는 생각이 들었고, 우리가 평가 시에 주로 사용하는 벤치마크 데이터들이 과연 충분할지 다시금 고민하게 되었습니다.
<An In-Depth Study of Filter-Agnostic Vector Search on a PostgreSQL Database System: [Experiments & Analysis]>는 앞으로 벡터 데이터베이스가 나아가야 할 방향을 제시하는 좋은 연구입니다. 아직도 많은 경우 벡터 인덱스를 독립된 라이브러리 형태로 구현하고 평가하는 경향이 있는데, 결국 실제 세계에서 벡터 인덱스가 사용되는 맥락이 충분히 고려되지 않게 됩니다. 따라서 PostgreSQL과 같은 관계형 데이터베이스 엔진 내에서 인덱스를 구현하고 평가하는 것이 중요합니다. 최근 CIDR에서도 이러한 방향의 연구가 제시된 바 있었고, Microsoft에서도 유사한 비전을 갖고 DiskANN을 발전시키고 있습니다. Google 또한 AlloyDB를 개발하면서 동일한 생각을 했던 것 같습니다. 더군다나 단순한 벡터 검색이 아니라, 다른 종류의 데이터에 대한 필터링이 개입되는 filtered vector search에 초점을 맞춘 것 또한 현실적 활용에 기반하였을 것입니다. 내용 또한 상당히 잘 쓰여진 데다가, 우리가 흔히 filter-agnostic filtered vector search는 형태상 그래프 기반 인덱스에게 유리할 것 같다는 생각을 하는 것과 달리 실제로는 clustering 기반인 ScaNN이 우수했다는 결과가 나와서 매우 흥미롭습니다. 이는 그래프 기반 인덱스(HNSW 등)이 작동하기 위해 필요한 여러 메커니즘들로 인한 “system tax”뿐 아니라, ScaNN이 sequential access pattern, SIMD, cache locality 등의 이득을 보았기 때문이라고 합니다. 사실 대외적으로 공개된 ScaNN은 in-memory 인덱스다 보니 디스크 기반 벡터 인덱스 논문들에서는 평가에서 제외해왔었는데, 디스크 기반으로 최적화해서 사용한다면 상당한 성능을 보이지 않을까 합니다.
(출처: Duo Lu, Helena Caminal, Manos Chatzakis, Yannis Papakonstantinou, Yannis Chronis, Vaibhav Jain, and Fatma Özcan. 2026. An In-Depth Study of Filter-Agnostic Vector Search on a
PostgreSQL Database System: [Experiments & Analysis]. Proc. ACM Manag. Data 4, 3 (SIGMOD), Article 134 (June 2026), 26 pages. https: //doi.org/10.1145/3802011)
한편, 디스크 기반 벡터 검색 중 그래프 기반 방법론들에 대한 연구들도 있었습니다. DiskANN계열의 인덱스는 메모리에 전체 벡터의 압축본을 두고 근사 거리로 탐색을 유도하며, SSD에는 원본 벡터와 그래프의 인접 리스트를 저장하는 구조입니다. 이 구조에서 성능을 지배하는 것은 결국 disk I/O입니다. 압축 벡터의 정확도는 같은 recall에 도달하기 위해 방문해야 하는 노드 수, 곧 I/O 횟수를 좌우하고, 디스크에 저장하는 데이터의 layout은 I/O 한 번에서 얻는 정보량과 생략할 수 있는 I/O를 결정하기 때문입니다. 이 두 축을 각각 다룬 논문이 나란히 발표되어 함께 소개합니다. 둘 다 CUHK James Cheng 교수님 연구실에서 나온 논문입니다.
첫 번째는 디스크에 저장하는 데이터의 layout을 다룬 <GPS: Revisiting the Data Layout for Disk-based High-Dimensional Vector Search>입니다. 기존 시스템들은 벡터와 인접 리스트를 한 블록에 묶어 저장하고, 노드를 방문할 때마다 둘을 같이 읽어 정확한 거리까지 계산합니다. 이 논문은 두 데이터의 역할이 다르다는 점을 파고듭니다. 인접 리스트는 탐색의 매 hop마다 반드시 필요하지만, 정확한 거리는 근사 거리 상위 후보들에 대해서만 계산해도 recall이 유지된다는 것을 실험으로 보입니다. 결국 그래프 구조가 벡터보다 더 hot한 데이터라는 것입니다.
이를 바탕으로 탐색을 근사 거리만으로 탐색하는 단계와 상위 후보만 원본 벡터로 다시 확인하는 refinement 단계로 분리하고, 이 접근 패턴에 맞춰 레이아웃도 재설계합니다. Memory cache에는 인접 리스트를 우선적으로 담아 더 많은 노드의 구조를 커버하고, SSD 블록에도 이웃 노드들의 인접 리스트를 복사해 함께 저장합니다. 이렇게 하면 블록 하나를 읽을 때 다음 hop 후보들의 인접 리스트까지 함께 확보되어 탐색 중 I/O가 줄어듭니다. 벡터가 아니라 그래프 구조를 중심에 두고 탐색과 레이아웃을 함께 재설계했다는 점이 인상적이었습니다.
(출처: Peiqi Yin, Xiao Yan, Qihui Zhou, Hui Li, Xiaolu Li, Meiling Wang, Lin Zhang, Xin Yao, and James Cheng. 2026. GPS: Revisiting the Data Layout for Disk-based High-Dimensional Vector Search. Proc. ACM Manag. Data 4, 3, Article 192 (June 2026), 29 pages. https://doi.org/10.1145/3802069)
두 번째는 메모리에 올리는 압축 벡터를 다룬 <SAQ: Pushing the Limits of Vector Quantization through Code Adjustment and Dimension Segmentation>입니다. 현재 양자화 기법의 SOTA인 RaBitQ 계열은 양자화된 벡터의 크기가 1이어야 한다는 제약 때문에 차원들을 독립적으로 다룰 수 없고, 정확도를 높이려고 비트 수를 늘리면 인코딩 비용이 급격히 커져 대규모 인덱싱에서 병목이 됩니다. 이 논문은 거리 추정식에서 벡터의 scaling이 추정값에 영향을 주지 않고 원본 벡터와의 방향만 중요하다는 점에 주목해, 이 제약이 애초에 불필요함을 보입니다. 제약을 걷어내면 각 차원을 독립적으로 양자화한 뒤 방향이 맞도록 값을 보정하는 것만으로 충분해져 인코딩이 훨씬 단순해집니다. 여기에 PCA로 정보를 앞쪽 차원에 모아 정보가 많은 차원에 더 많은 비트를 주는 기법을 더해 같은 압축률에서 정확도도 끌어올립니다. 당연하게 전제되던 제약을 추정식의 성질에서 다시 해석해 걷어냈다는 점이 인상 깊었던 연구입니다.
그래프와 관련된 연구들 또한 다양한 주제에 대해 많은 수의 논문이 게재되어 특별히 우수한 논문을 고르기에는 어려움이 있습니다. 다만 직접 발표를 들었던 논문들 중에서 그래프 알고리즘을 개선하는 논문들 외에도 새로운 시각이나 관점을 제안했던, 인상이 남았던 논문들이 있어 이들을 소개합니다.
첫 번째는 “GraphRTX: Lighting the Way to Scalable Graph Analytics”이며, 그래프 연산에서 일반적으로 사용되는 CUDA 코어가 처리하기에 비효율적인 연산들을, 기존에 3D 그래픽 처리를 위해 사용되던 RT 코어로 처리하여 효율을 높인 논문입니다. 이 논문의 key insight는 독특한데요, 그래프 연산에서의 일부 연산들과 3D 그래픽 처리의 연산들이 넓게 보면 같은 연산으로 볼 수 있다는 것입니다. 이를 바탕으로 이 논문은 그래프를 그래픽 데이터 형태로 매핑하여 해당 연산들을 RT 코어에서 처리합니다. 그래프 연산의 오버헤드가 전혀 다른 목적을 위해 만들어진 하드웨어로 해결이 된다는 점이 매우 흥미로웠으며, 이 논문을 통해서 연산의 패턴 및 구조와 오버헤드의 본질에 집중하면 서로 전혀 상관없다고 생각한 것들이 연결될 수 있다는 것을 알게 해준, 인상깊었던 연구였습니다.
(출처: Alexander Baumstark and Kai-Uwe Sattler. 2026. GraphRTX: Lighting the Way to Scalable Graph Analytics. Proc. ACM Manag. Data 4, 3, Article 193 (June 2026), 30 pages. https://doi.org/10.1145/3802070)
두 번째는 “Through the Lens of Hubness: A Revisit on Graph-Based Approximate Nearest Neighbor Search: [Experiments & Analysis]”입니다. 이 논문은 그래프 기반 ANN 탐색 시 그래프에서 다른 노드들과 많이 연결되지 않은 노드를(anti-hub) 검색할 경우 시간이 오래걸린다는 점을 지적하며, 대표적인 그래프 기반 ANN 탐색 알고리즘을 그래프의 연결 관계의 불균형 완화 전략의 관점에서 재해석하고 이를 해소하는 방식을 제안합니다. 이 연구는 그래프 기반의 벡터 탐색을 단순히 ANN 인덱싱 문제로 보지 않고 그래프의 연결 관계와 관련된 hubness의 관점에서 분석했다는 점이 흥미로웠던 연구였습니다.
(출처: Xiaoliang Xu, Haonan Dai, Can Li, Mengzhao Wang, and Qiang Yue. 2026. Through the Lens of Hubness: A Revisit on Graph-Based Approximate Nearest Neighbor Search: [Experiments & Analysis]. Proc. ACM Manag. Data 4, 3, Article 243 (June 2026), 27 pages. https://doi.org/10.1145/3802120)