글로벌 가상자산 거래소 바이낸스가 자체 개발한 프레임워크 ‘스몰 파일 닥터’를 통해 대규모 데이터 처리 과정에서 발생하는 비효율을 개선하고 시스템 안정성을 확보했다고 16일 밝혔다.
대규모 데이터 웨어하우스에서 스몰 파일은 메타데이터 처리 부담 증가, 읽기 증폭(Read Amplification), 지연 시간 악화, 불안정한 작업 등으로 이어진다. 특히, 바이낸스와 같이 거래, 모니터링, 이상 거래 탐지, 분석, 고객 지원, 재무 등 다양한 워크플로우가 동시에 이뤄지는 복잡한 운영 환경에서 사용자 경험 저하, 서비스 품질까지 직결될 수 있다.
바이낸스는 문제의 근원적 해결을 위해 상시 운영 가능한 프레임워크를 구축하는 데 초점을 맞췄다. 일반적인 운영 환경에서도 파일 최적화 작업을 안전하게 지속 실행하면서 지연 시간, 안정성, 비용 등을 전반적으로 개선할 수 있는 구조를 만들었다는 설명이다.
바이낸스는 현재 해당 프레임워크를 통해 533개 테이블을 최적화해 5천900만개 스몰 파일을 290만개 수준으로 줄였다. 이로써 연간 약 9만~10만달러 규모 컴퓨트(compute)와 스토리지 비용을 절감했다.
바이낸스 관계자는 “스몰 파일 닥터는 데이터 규모와 서비스 복잡성이 증가하는 환경에서 바이낸스의 시스템 안정성을 유지하는 데 중요한 역할을 하고 있다”며, “지속적인 프레임워크 고도화를 통해 ‘보이지 않는 병목’을 유발하는 스몰 파일 문제를 근본적으로 해결하겠다”고 밝혔다.
