캐치테이블이 데이터 비용·복잡성 한번에 줄인 비결은?

"우리는 스노우플레이크 도입 후 데이터 운영을 단순화하고 관리 비용까지 줄일 수 있었습니다. 앞으로 내부 직원 모두가 데이터를 쉽게 쓸 수 있는 환경을 구축할 것입니다. 데이터가 회사 성장의 핵심 자산이 되도록 만드는 것이 궁극적 목표입니다."

캐치테이블 이영전·임상구 데이터 엔지니어는 지디넷코리아 인터뷰에서 스노우플레이크로 데이터 운영을 전환한 효과를 이같이 밝혔다.

캐치테이블은 국내 레스토랑 예약 플랫폼이다. 맛집 검색부터 예약, 결제까지 원스톱 서비스를 제공한다. 이를 통해 사용자는 전국 식당의 실시간 현황을 확인하고 예약이나 웨이팅을 할 수 있다. 식당 방문 후 리뷰를 남길 수도 있다.

캐치테이블은 해당 플랫폼을 운영하면서 데이터 운영 이슈에 부닥쳤다고 밝혔다. 우선 데이터 파이프라인이 복잡해져 유지보수 부담이 늘었다. 이영전 엔지니어는 "새 데이터가 들어올 때마다 스키마가 바뀌었다"며 "이를 반영하기 위해 매번 많은 수정을 거쳐야 했다"고 말했다.

데이터 분석 속도가 느려진 점도 문제였다. 이 엔지니어는 "당시 캐치테이블 시스템은 하루 단위로만 데이터를 처리했다"며 "사내에서는 몇 시간 전, 심지어 몇 분 전 데이터까지 확인하고 싶다는 요구가 많았지만 대응이 어려웠다"고 설명했다.

운영 환경이 분리된 것도 부담이었다. 캐치테이블 서비스는 AWS에서 운영됐지만 데이터 분석은 구크클라우드에서 각각 이뤄진 이유에서다. 이 엔지니어는 "두 클라우드를 동시에 관리해야 했다"며 "이를 감당할 만한 인력이 부족해 부담스러웠다"고 말했다.

이 엔지니어는 이런 상황에서 데이터 비용 문제까지 커졌다고 언급했다. 그는 "빅쿼리는 데이터를 조회할 때마다 스캔 용량에 따라 비용이 발생한다"며 "데이터가 쌓일수록 비용은 눈에 띄게 증가했다"고 지적했다. 또 "데이터 보안과 거버넌스도 완벽하지 않았다"며 "누가 어떤 데이터에 접근할 수 있는지 명확히 통제하기 어려웠다"고 덧붙였다.

"준·실시간 데이터 분석 가능…코텍스 AI 이용 확대할 것"

캐치테이블은 이같은 문제 해결을 위해 올해 초부터 스노우플레이크로 데이터 운영을 전환하기 시작했다.

캐치테이블 임상구 데이터 엔지니어(좌)와 이영전 엔지니어. (사진=스노우플레이크)

이 엔지니어는 가장 눈에 띄는 효과로 데이터 파이프라인 단순화를 꼽았다. 스노우플레이크 도입으로 데이터 분석 환경을 AWS로 한데 통합할 수 있었기 때문이다. 그는 "기존처럼 서비스는 AWS, 분석은 구글클라우드에 두는 복잡한 구조가 사라졌다"고 강조했다.

이 엔지니어는 특히 스노우플레이크의 '다이나믹 테이블' 기능이 큰 도움 됐다고 밝혔다. 이 기능은 SQL 기반으로 파이프라인을 자동으로 만들고 관리해 준다. 그는 "이 기능으로 파이프라인 구조를 단순화할 수 있었다"며 "준·실시간에 가까운 분석까지 가능해졌다"고 설명했다.

캐치테이블은 스노우플레이크 도입으로 데이터 비용 절감 효과도 봤다고 강조했다. 임 엔지니어는 "스노우플레이크 솔루션으로 컴퓨팅 자원 효율성을 높일 수 있었다"며 "직무·업무 성격에 맞게 컴퓨팅 자원 용량을 배정할 수 있어 불필요한 낭비를 줄였다"고 강조했다.

임 엔지니어는 스노우플레이크 도입 후 셀프 데이터 분석 환경 구축을 목표로 잡았다. (사진=스노우플레이크)

임 엔지니어는 스노우플레이크의 데이터 압축·마이크로 파티션 저장 방식도 데이터 저장 공간 절약을 도왔다는 점도 언급했다. 그는 "이는 같은 데이터를 더 작은 크기로 보관하면서 실행 속도를 올리는 기능"이라며 "그 결과 데이터 전체 운영 비용은 약 20% 줄었고, 유지보수 부담도 평균 18% 낮아졌다"고 설명했다.

캐치테이블은 스노우플레이크 전환 계기로 새 목표를 제시했다. 우선 내부에 셀프 서비스 분석 환경을 구축하는 것이다. 임 엔지니어는 "마케팅·기획팀 등 비개발 직군도 자연어로 질문해 분석 결과를 얻을 수 있어야 한다"며 "사내 누구나 손쉽게 데이터를 활용하는 체계를 만드는 것이 목표"라고 설명했다.