토스 "탐지룰, '빠른 제작'서 '검증 운영'으로 변화 중"

서종찬 토스 보안 엔지니어가 6일 "탐지룰을 빠르게 만드는 것에서 검증된 상태로 운영하는 것으로 넘어가려는 준비를 하고 있다"고 밝혔다.

서 엔지니어는 이날 서울 강남구 코엑스에서 열린 보안 콘퍼런스 '가디언즈 26' 트랙 A 첫 세션에서 탐지룰을 코드로 관리하고 인공지능(AI)으로 만드는 '바이브 디텍션' 경험을 공유했다.

서종찬 토스 보안 엔지니어가 6일 '가디언즈 26'에서 '바이브 디텍션' 관련 발표를 하고 있다. (사진=지디넷코리아)

바이브 디텍션은 사람이 무엇을 잡을지 의도를 말하면 AI가 탐지룰을 만들어 배포하는 방식이다. 사람은 위험의 본질을 이해하고 탐지 대상과 룰의 의도를 정한다. 탐지 소스 선택, 알럿 구성, 공격 기법 매핑, 배포 전 테스트와 오탐 조정은 AI가 맡는다. 토스는 룰 생성 도구, 룰 원본 저장소, 자동 배포 구성을 나눠 모두 코드로 관리한다.

도입 배경은 수작업의 한계였다. 분석가가 탐지 쿼리를 직접 쓰고 보안 관제 시스템(SIEM) 콘솔에서 바로 고쳐 배포하다 보니 실제 배포된 룰이 무엇인지 아무도 확신할 수 없었다. 작성자마다 필드명이 달라 자동화 도구와 분석가가 룰을 소비하기도 어려웠다.

지금은 룰 변경이 모두 병합 요청(PR) 단위로 남는다. 룰 원본이 병합되면 배포 PR이 자동으로 올라오고, 검증 결과와 변경된 설정이 함께 붙는다. AI 코드 리뷰는 오탐 가능성과 다른 룰과의 일관성을 짚는다. 사람은 확인한 뒤 병합만 하고, 배포가 실패하면 자동으로 이전 상태로 되돌아간다.

서 엔지니어는 "과거에는 새로운 탐지룰을 하나 만드는 것이 큰 결정이었는데, 지금은 새로운 탐지가 아주 싼 실험이 됐다"고 말했다.

적용 사례도 소개했다. 레드팀이 취약점을 제보하면 악용 징후에 집중한 임시 룰이 자동 배포되고, 개발자가 패치하면 알아서 내려간다. 탐지룰이 정형화된 티켓으로 나가면 분류 에이전트와 대응 에이전트가 처리한다. 정탐과 오탐 판정은 다시 룰 튜닝 PR로 돌아가 같은 배포 체계에서 룰이 개선된다.

토스는 마이터 어택, 마이터 아틀라스, 내부자 위협, 로그 모니터링 등 4개 매트릭스에 배포된 룰을 올려 한눈에 본다. 커버리지가 보이자 다음에 만들 룰과 정리할 룰이 드러났다.

콘솔에서 직접 고치던 시절과 달리 변경 방식, 리뷰 이력, 실패 시 복구 절차, 사후 확인이 자동으로 챙겨진다. 서 엔지니어는 덕분에 변경을 더 자주, 더 작게, 안전하게 할 수 있게 됐다고 평가했다. 룰 하나를 배포하는 데 명령어가 8개 넘게 필요했지만, 지금은 한 명령으로 검증부터 PR 생성까지 끝난다.

운영 수치도 공개했다. 지금까지 배포 형상 변경은 1500건이 넘고, 운영 중인 탐지룰은 980여 개다. 룰 작성 규칙은 200개, 룰 생성 도구 버전은 40을 넘었다. 연동한 센서는 46개 이상이며 마이터 어택 기법 49개를 커버한다.

서 엔지니어는 시행착오에서 얻은 교훈 세 가지를 꼽았다. ▲AI 품질은 구조에서 나온다 ▲사람이 볼 지점을 정해야 한다 ▲사람이 관리하는 순간 형상이 틀어진다는 것이다.

의도 결정과 리뷰에 사람이 집중하고, AI 산출물에는 평가 지표를 계속 만들어 룰 품질을 보장해야 한다고 했다. 프롬프트를 다듬기보다 소스 정보, 작성 규칙, 컴파일러를 먼저 갖추는 편이 결과가 안정적이라고 했다. 룰 배포 상태를 사람이 직접 맞추던 지점은 자동화해야 AI가 작업해도 형상이 깨지지 않는다는 설명이다.