AI보안 전문기업 에임인텔리전스(AIM Intelligence, 대표 유상윤)는 BMW 그룹과 공동 개발한 기업용 AI정책 준수 평가 프레임워크 'COMPASS' 연구가 자연어처리 분야 세계 최정상급 학회인 'ACL 2026(Association for Computational Linguistics)'에 공식 채택됐다고 22일 밝혔다.
'ACL 2026'은 오는 7월 2일부터 7일까지 미국 캘리포니아주 샌디에고에서 열린다.
이번 연구는 표준 안전 테스트를 통과한 AI 모델도 실제 기업 환경에서 적용되는 복잡한 정책 준수에는 실패한다는 사실을 밝혀냈다. 연구팀이 클로드와 챗GPT, 제미나이(Gemini), 라마(Llama) 등 15개 최신 모델을 평가한 결과, 의료·금융·자동차 등 LLM 도입이 가속화된 전 산업군에서 AI 모델은 기업이 금기시하는 내부 규칙의 97%를 제대로 따르지 않아 허점이 발생했다.
예컨대 의료 챗봇이 의료진단을 제공해서는 안 되거나, 금융 어시스턴트가 직접적인 투자 조언을 피해야 하는 것처럼 기업들은 컴플라이언스 매뉴얼, 운영 플레이북, 법적 제약 등 복잡한 내부 정책을 운영한다. 그러나 기존 AI 안전 평가는 독성이나 폭력 같은 보편적 위해만 측정할 뿐, 조직별 정책 준수 능력은 검증하지 못해 사각지대가 생겨난 것이다.
COMPASS(Company/Organization Policy Alignment Assessment)는 이러한 문제를 해결하기 위해 4가지 검증단계를 통해 해석이 불분명한 조항이나 상충하는 규칙 등을 찾아내 오작동 비율을 줄이는 프레임워크다. COMPASS 프레임워크와 데이터셋은 기업들이 자사 정책에 맞춰 AI 시스템을 직접 평가할 수 있도록 깃허브(Github)와 허깅페이스(Hugging face)에 무료로 공개돼 있다.
이번 프로젝트는 에임인텔리전스와 BMW 그룹을 필두로 연세대학교, 포항공과대학교, 서울대학교 연구진이 공동 참여했다. 상세 논문은 논문 사전공개 사이트인 아카이브(arXiv)에 공개됐다.
관련기사
- 에임인텔리전스, 100억 원 규모 시리즈A 투자 유치 성공2026.04.10
- 에임인텔리전스, 영상 생성 AI 취약점 찾아냈다2026.02.27
- LG·엔비디아, 소버린 AI 전선 확대…전문 특화 모델 공동 개발한다2026.04.22
- 티빙-웨이브 합병, KT 결단 내릴 때 됐다2026.04.21
에임인텔리전스는 생성형 AI와 대규모 언어모델(LLM)을 비롯해 이미지·비전 모델(VLM), 음성, 멀티모달 시스템, 피지컬 AI 분야에서 AI 가드레일과 레드티밍 솔루션을 선보이고 있다. 특히 모델이 기업의 정책과 의도를 벗어나도록 유도하는 공격 시나리오를 실제 환경에 가깝게 검증하고 차단하는 기술을 보유하고 있다.
유상윤 에임인텔리전스 대표는 "일반적인 안전성만 측정하는 기존 테스트와 달리, COMPASS는 조직의 구체적인 규칙이 제대로 지켜지는지 평가한다"며 "기업과 공공기관이 AI를 안심하고 활용할 수 있도록 정책 준수 검증 기술을 지속 고도화하겠다"고 밝혔다.
