"작은 모델도 폐쇄망서 충분히 보안 취약점 탐지"

[AI 페스타 2026] 김호원 스마트엠투엠 대표 '대한민국 사이버보안 컨퍼런스 2026'서 발표

"미토스(Mythos)급 프론티어 모델을 독자적으로 개발 및 운영하는 것은 '기술 이슈'라기보다 초거대 GPU 인프라 '투자 이슈' 입니다. 에이전트 오케스트레이션 기반의 소형특화모델(sLLM)을 활용해야 합니다." 

김호원 스마트엠투엠 대표는 7일 서울 코엑스에서 열린 ‘대한민국 사이버보안 콘퍼런스 2026’에서 이 같이 밝혔다. 김 대표는 한국정보보호학회 회장도 맡고 있다. 이날 김 대표는 ‘SmartX: 온프레미스 대규모언어모델(LLM) 기반 사이버보안 취약성 탐지 기술’을 주제로 발표했다. '스마트X'는 스마트엠투엠이 개발한 취약점 탐지 솔루션이다. 

김 대표는 "우리 목적은 폐쇄망에서도 충분한 보안 취약성을 찾아서 대응할 수 있는 것을 만드는 것”이라고 밝혔다. 초거대 AI 개발과 외부 서비스 이용에 따른 비용·정보 관리 부담을 줄이면서 취약점 탐지와 실제 악용 가능성 검증을 연결해야 한다는 것이다. 

김 대표는 AI 에이전트 발전으로 취약점 탐지와 공격의 문턱이 낮아지고 있다고 진단했다. 시스템을 분석하고 도구를 실행해 허점을 확인하는 기술은 방어를 위한 점검에 활용할 수 있지만 공격에도 쓰일 수 있다.

김호원 스마트엠투엠 대표가 7일 서울 삼성동 코엑스에서 열린 AI 페스타에서 ‘서울시 정보보호정책 및 전국정보보호정책협의회 현안 소개’를 주제로 발표했다. (사진=지디넷코리아)

취약점 탐지 능력을 좌우하는 요소로는 모델의 추론 성능과 분석 도구 연동, 반복 검증, 에이전트 간 협업을 꼽았다. AI가 운영체제와 메모리 관리, 기존 공격방식 등에 관한 지식을 바탕으로 취약점을 추론하고 실제 작동 여부를 확인하는 과정이 필요하다는 것이다.

다만 고성능 초거대 모델을 직접 개발하고 운영하려면 대규모 GPU와 전력, 운영비가 필요하다. 김 대표는 방어 목적의 점검에서는 보안 특화 모델과 에이전트를 활용하는 접근이 가능하다고 봤다.

외부 AI 서비스를 API로 연결하는 방식에 대해서는 점검 대상에 따라 정보 관리 부담이 달라진다고 지적했다. 공개된 웹사이트와 달리 내부 시스템을 분석할 때는 소스코드와 취약점 등 민감한 정보를 다루기 때문이다. 그는 “공공기관이나 제조기업의 내부 취약점을 볼 때 API를 연동하는 순간 기업이나 기관 입장에서는 고민할 거리가 굉장히 많다”고 말했다.

이에 대한 대안으로 보안에 특화한 소형 언어모델과 역할별 에이전트, 기존 보안 도구를 결합하는 방식을 제시했다. 기관이 보유한 GPU와 점검 목적에 맞춰 모델을 구성하고 내부 서버에서 운영하도록 한다는 구상이다.

김 대표는 특히 여러 에이전트가 목표를 유지하면서 작업을 나누고 결과를 공유하는 능력을 강조했다. 정보를 수집하고 취약점을 탐색한 뒤 결과를 교차 검증하고, 중복된 발견을 제거하는 식이다. 마지막에는 격리된 가상 환경에서 실제 악용 가능성을 시험해 탐지 결과를 입증한다.

마이크로소프트의 MDASH와 중국 치후360의 투룽펑을 사례로 들며 역할별 에이전트의 협업과 분석 결과 공유가 중요하다고 설명했다. 그는 “에이전트가 얼마나 잘 협업하느냐, 내가 지금 무엇을 하고 있는지 요약하고 다른 에이전트와 협업을 잘하느냐”를 핵심 역량으로 꼽았다.

국내 사이버보안 현재와 미래를 고찰한 '대한민국 사이버보안 컨퍼런스 2026'이 7일 서울 코엑스에서 열렸다. (사진=지디넷코리아)

스마트엠투엠의 SmartX도 이러한 협업 구조를 적용했다. 김 대표에 따르면 초기에는 오픈 웨이트 모델을 활용했으며 현재 버전에는 약 300억개 매개변수의 모델을 보안에 특화하도록 추가 학습했다. 여러 에이전트가 분석과 실행, 검증을 나눠 수행하고 취약점을 찾지 못하면 결과를 바탕으로 다음 작업을 이어간다.

김 대표는 보안 지식을 학습시키는 것과 함께 작업 순서를 판단하는 능력도 갖춰야 한다고 강조했다. 같은 작업을 반복하거나 탐색을 중단하는 대신 이전 시도에서 무엇을 확인했는지 파악하고 다음 행동을 결정해야 한다는 것이다.

그는 “모델 자체가 작더라도 에이전트만 잘 만들면 어느 정도까지 간다”며 “결국 작은 모델은 한계에 부딪히기 때문에 특화 모델로 가야 한다”고 말했다.

SmartX는 Cybench 평가에서 87.5% 이상의 과제를 해결했다. CyberGym을 활용한 평가도 진행하고 있다. 취약점 점검뿐 아니라 관련 증거 수집과 보고서 작성, 대응 방안 제시까지 연결하고 KISA·국정원 등의 보안 점검 기준에 대응하는 방향으로 기술을 개발하고 있다.

AI의 행동을 통제하는 운영 안전성도 과제로 꼽았다. 취약점을 검증하는 과정에서 AI가 허용된 범위를 벗어나지 않도록 관리하고 실제 운영 시스템과 분리된 환경에서 시험해야 한다는 설명이다.

보안 점검에 사용하는 AI 자체의 취약점에도 대응해야 한다고 덧붙였다. 이미지와 음성 등을 함께 처리하는 멀티모달 AI에서는 입력에 숨겨진 악성 지시나 교란으로 AI를 속이는 공격이 가능하기 때문이다. 김 대표는 “LLM 자체의 취약점이 많다”며 이러한 공격에도 대응할 필요가 있다고 강조했다.