국내 인공지능(AI) 기업들이 생성형 AI 도입에 있어 기술만큼이나 신뢰성과 안전성을 우선 과제로 제시했다.
국제인공지능윤리협회(IAAE)는 27일 서울 삼성동 구글 스타트업 캠퍼스에서 '2025 AI 세이프티 컴퍼스(ASC) 컨퍼런스'를 개최했다. '변화하는 AI 환경에서의 기업 경쟁력 확보'를 주제로 열린 이번 행사에는 셀렉트스타, LG유플러스, 원티드랩, AI3 등 공공·민간 주요 조직들이 참여했다.
이날 황민영 셀렉트스타 부대표는 생성형 인공지능(AI)을 도입할 때 핵심은 기술력 자체보다 신뢰성과 안전성을 정량적으로 평가하고 관리할 수 있는 체계를 갖추는 데 있다고 강조했다.
특히 산업 특성과 조직의 정책에 맞춘 맞춤형 벤치마크와 '레드팀' 검증이 도입 여부를 좌우하는 만큼, 단순한 모델 성능보다 사전 평가 체계의 구축이 더 시급하다고 진단했다.
황 부대표는 LLM 평가 방식으로 크게 세 가지 접근법을 제시했다. 객관식 기반의 벤치마크인 '자동평가', 사람이 직접 점수를 매기는 '휴먼 평가', 모델이 다른 모델을 평가하는 LLM 기반 평가다. 현업에서는 이 세 방식을 혼합해 쓰고 있으며 시험지처럼 만드는 벤치마크는 빠르고 효율적이고 LLM 평가는 반복 작업을 대체하는 수단으로 유용하다.
또 그는 기업의 도입 결정에서 신뢰성 문제로 LLM을 도입하지 못하는 경우가 빈번하다는 점을 지적했다. 대기업 챗봇이 경쟁사 제품을 추천한 사례나 해외 항공사 챗봇이 잘못된 가격 정보를 안내해 법적 책임을 지게 된 사례처럼 잘못된 출력으로 인한 금전적·법적 손해가 현실화되고 있다는 것이다.
이같은 문제를 해결하려면 도입 전 신뢰성 검증 체계가 필수적이라는 게 황 부대표의 판단이다. 기업별 정책과 업무 목적에 따라 정확성·정책 적합성·유해성 등 다양한 기준을 사전에 마련하고 반복 검증을 통해 모델의 응답 수준을 평가해야 한다는 것이다. 여기에 더해 위장된 질문을 활용해 잠재적 위험 발화를 사전에 탐지하는 '레드팀' 방식의 검증도 병행해야 한다.
셀렉트스타는 지난 2018년 설립된 이후 이 같은 과제를 해결하기 위해 평가 데이터셋 구축, 레드팀 챌린지 운영, 맞춤형 테스트 설계 등을 수행해 왔다. 최근에는 자동화 솔루션 '다투모 이밸(DATUMO eval)'을 통해 기업별 LLM을 체계적으로 검증하고 있다.
황민영 셀렉트스타 부대표는 "AI가 답변을 잘 요약했는지, 정책을 따랐는지, 위험한 말을 했는지를 평가할 수 있는 기준과 매트릭스를 기업 스스로 구성해야 한다"며 "생성형 AI 도입은 더 이상 기술이 아닌 책임과 평가의 문제로 넘어갔다"고 덧붙였다.
이날 또다른 발표를 진행한 주형민 원티드랩 AX사업 총괄은 생성형 AI 도입은 기술이 아닌 통제와 책임의 문제라고 강조했다. 기술보다 조직 구조, 거버넌스 체계 정비가 우선이라는 주장이다.
주 총괄은 최근 기업들이 AI를 주요 업무에 활용하면서 에이전트 기반의 구조로 급속히 전환하고 있다고 밝혔다. 이 과정에서 오류가 누적될 경우 전체 시스템 신뢰도를 갉아먹을 수 있다고 경고했다.
그는 "복수 에이전트의 조합은 작은 오류도 누적되면 전체 리스크로 이어진다"며 "기술 성능보다 중요한 건 데이터 흐름 추적과 운영 통제"라고 강조했다.
원티드랩은 이를 반영해 에이전트 통계, 요금 통제, 사용 이력 관리 등 통제 기능을 자체 플랫폼에 구축한 상태다. 특히 민감정보 대응과 내부 사용 통제를 핵심 기능으로 삼았다.
주형민 총괄은 "AI 전담조직도 역할을 바꿔야 한다"며 "AI는 누구나 쓸 수 있어야 하며 구조가 이를 뒷받침해야 한다"고 강조했다.
이어 발표를 진행한 한영섭 LG유플러스 AI테크랩장은 AI 확산 논의가 생산성과 효율에 치우쳐 있다며 안전과 신뢰에 대한 논의가 병행돼야 한다고 강조했다.
한 테크랩장은 "AI가 실제로 도움이 되려면 먼저 안심하고 쓸 수 있어야 한다"고 말했다.
이같은 목표를 달성하기 위해 LG유플러스는 '어슈어드 인텔리전스'를 핵심 전략으로 제시했다. AI가 만든 음성을 판별해 보이스피싱 등 음성 기반 범죄를 차단하는 '안티 디보이스', 통화 내용을 서버로 전송하지 않고 기기 내에서만 처리하는 '온디바이스 LLM', 양자암호 기반의 통신 보안 기술이 그 축이다.
이 전략이 적용된 대표 서비스가 통화 에이전트 '익시오(XiO)'다. 스팸 응답, 음성 분석, 보이스피싱 탐지 기능을 AI가 수행하지만 개인정보는 모두 단말기 안에서만 처리된다. 또 AI가 생성한 텍스트나 음성, URL 링크를 탐지해 위험 여부를 사전에 차단하는 기능도 함께 개발 중이다.
한 단장은 "AI의 위협을 AI로 막는 구조가 필요하다"며 "기술적 대응은 매우 중요하다"고 역설했다.
관련기사
LG유플러스는 그룹 AI 연구원과 협력해 자체 LLM '익시젠(XiGen)'도 운영 중이다. 기존 엑사원 모델을 기반으로 산업별 도메인에 특화한 경량 LLM을 개발하고 있으며 스마트폰 등 디바이스 탑재를 목표로 상용화를 추진 중이다.
한영섭 AI테크랩장은 "AI가 만든 콘텐츠를 알아채지 못하는 상황이 곧 현실이 될 것"이라며 "AI의 확산과 함께 신뢰 체계를 구축하는 것도 기업의 책임"이라고 말했다.
