데이터 몰리기 전에 AI가 알아서 조절…단국대 ‘병목 해소’ 기술 개발

[포인트경제] AI와 클라우드 서비스 확산으로 데이터 처리량이 폭증하는 가운데, 인공지능이 데이터 병목을 미리 감지하고 처리량을 스스로 조절하는 기술이 개발됐다. 기존 시스템에서 최대 50초까지 발생하던 데이터 쓰기 지연을 1초 이내로 줄이는 데 성공해 대규모 AI·클라우드 서비스의 처리 효율을 높일 수 있을 것으로 기대된다.

단국대학교는 최종무 소프트웨어학과 교수 연구팀이 대용량 데이터 환경에서 발생하는 검색 효율 저하와 데이터 처리 지연 문제를 AI로 개선하는 기술을 개발했다고 3일 밝혔다.

이번 연구 성과는 데이터베이스·데이터 관리 분야의 세계적인 국제학술대회인 ‘VLDB(Very Large Data Bases) 2026’에 정규논문 2편으로 게재됐다.

최근 생성형 AI와 클라우드, 빅데이터 서비스가 빠르게 확산하면서 데이터베이스가 처리해야 할 정보량도 크게 늘고 있다.

문제는 데이터가 한꺼번에 몰릴 경우 검색 속도가 떨어지거나 새로운 정보를 저장하는 과정에서 지연이 발생한다는 점이다. 이른바 ‘데이터 병목’ 현상이다.

연구팀은 AI가 데이터의 특성과 시스템 상태를 학습해 이런 병목 현상을 사전에 줄이는 데 초점을 맞췄다.

첫 번째 연구에서는 AI가 데이터가 어디에 저장돼 있는지를 예측해 검색 속도를 높였다.

논문 ‘Rethinking Learned Index and LSM-tree Integration’에서는 머신러닝 기반의 ‘학습형 인덱스(Learned Index)’ 기술을 활용했다.

기존 데이터베이스는 정해진 자료구조를 따라가며 데이터의 위치를 찾는다. 반면 학습형 인덱스는 AI가 데이터의 분포와 저장 위치 특성을 학습해 원하는 데이터가 어디에 있을지를 예측한다.

쉽게 말해 방대한 자료를 처음부터 하나씩 찾아가는 대신 AI가 데이터의 위치를 미리 추정해 검색 범위를 좁히는 방식이다.

연구팀은 이 기술을 대용량 데이터를 저장·관리하는 ‘Key-Value Store’에 적용했다.

그 결과 데이터를 찾는 과정에서 필요한 연산량과 메모리 사용량을 줄일 수 있었다. 데이터 특성에 따라 학습형 인덱스의 주요 설정값과 저장 단위 크기를 유연하게 조정해 읽기와 쓰기 성능도 함께 높였다.

두 번째 연구에서는 데이터가 몰릴 때 발생하는 ‘쓰기 지연’을 크게 줄였다.

논문 ‘How Much Can RocksDB Chew? Achieving Near-Zero Write Stalls with Sustainable RocksDB’에서는 글로벌 IT 기업과 대규모 서비스에서 널리 활용되는 데이터베이스 시스템인 ‘RocksDB’의 쓰기 지연 문제를 다뤘다.

RocksDB와 같은 대규모 데이터베이스는 데이터가 계속 쌓이면 내부적으로 정보를 정리하고 재배치하는 작업이 필요하다.

처리해야 할 데이터가 시스템의 능력을 넘어설 경우 새로운 데이터를 저장하지 못하고 잠시 멈추는 ‘쓰기 지연(Write Stall)’이 발생할 수 있다. 서비스 규모가 커질수록 이러한 순간적인 지연은 전체 시스템 성능과 이용자 경험에 영향을 줄 수 있다.

연구팀은 이 문제를 해결하기 위해 ‘S-RocksDB(Sustainable RocksDB)’를 개발했다.

핵심은 강화학습이다. AI가 데이터베이스 내부 상태와 처리 흐름을 지속적으로 학습한 뒤 시스템에 과부하가 발생할 가능성을 판단한다.

지연이 실제 발생한 뒤 대응하는 것이 아니라 병목 가능성이 커지면 처리량을 미리 조절해 시스템이 안정적인 상태를 유지하도록 하는 방식이다.

실험 결과는 뚜렷했다. 기존 RocksDB에서는 1분 동안 최대 약 50초에 달했던 쓰기 지연이 S-RocksDB에서는 1초 이내로 줄었다. 쓰기 지연 시간을 최대 50배가량 개선한 셈이다.

연구팀은 이러한 기술이 대규모 데이터가 실시간으로 오가는 클라우드 서비스와 AI·빅데이터 플랫폼 등에 활용될 수 있을 것으로 보고 있다.

특히 서비스 이용자가 갑자기 증가하거나 AI 학습·추론 과정에서 대량의 데이터가 집중되는 상황에서도 데이터베이스의 처리 속도와 안정성을 유지하는 데 도움이 될 것으로 기대된다.

이번 성과는 AI를 단순히 데이터를 분석하는 데 활용하는 것을 넘어 데이터베이스 자체의 운영과 성능 최적화에 적용했다는 점에서도 의미가 있다.

AI가 데이터의 위치를 학습해 검색을 효율화하고 시스템의 한계를 예측해 처리량까지 조절하면서 대규모 데이터 환경을 스스로 최적화하는 방향으로 기술을 확장한 것이다.

최종무 교수는 “이번 성과는 그동안 단국대가 축적해 온 AI 기반 데이터 관리 기술의 경쟁력을 인정받은 결과”라며 “향후 대규모 데이터 서비스와 산업 현장에서 폭넓게 활용될 것으로 기대한다”고 말했다.

이번 연구는 과학기술정보통신부 재원으로 정보통신기획평가원(IITP)의 ‘SW스타랩’ 사업 지원을 받아 수행됐다.