[현장] 한국인공지능산업협회 "성능보다 실행"…생성형 AI '실전 적용'

한국인공지능산업협회(AIIA)가 기술이 아닌 적용의 관점에서 생성형 인공지능(AI)의 현실을 짚는 만남의 장을 열었다. 산업계가 당면한 문제는 모델 성능보다 이를 실제 환경에서 활용하고 통제하는 조직과 제도의 설계라는 인식이 공유됐다.

AIIA는 한국정보통신기술협회(TTA) ICT 표준화포럼인 지능정보기술포럼과 함께 15일 서울 서초구 양재엘타워에서 제52회 조찬포럼을 개최했다. 이날 포럼에서는 배순민 KT 상무와 윤두식 이로운앤컴퍼니 대표가 연사로 나서 각각 '한국적 AI 추진 전략'과 'LLM 보안 위협'을 주제로 발표를 진행했다.

양승현 한국인공지능산업협회 회장은 개회사에서 "기술이 발전할 수 있다고 하지만 실제 적용까지는 시간이 걸린다"며 "무엇이 가능한가뿐 아니라 어떤 사례가 실패했는지를 업계가 함께 인식해야 한다"고 강조했다.

"정서·규제에 맞는 AI 필요"…KT, 통합 인프라 기반 강조

이날 배순민 KT 상무는 생성형 AI가 국가 경쟁력의 핵심이 된 상황에서 단순한 모델 개발보다 자율적이고 독립적인 활용 역량 확보가 시급하다고 진단했다. 특히 국내 산업 환경, 정서, 규제 구조에 맞는 '한국형 AI' 구축이 필요하다는 입장을 밝혔다.

배 상무는 AI가 단순히 수입해 쓰는 도구가 아니라 한국적 문맥에 최적화된 조직과 생태계 설계가 전제돼야 실효를 거둘 수 있다고 봤다. 그는 KT가 추진 중인 'K-인텔리전스'를 통해 모델, 에이전트, 스튜디오, 보안·컴플라이언스 체계를 통합하고 있다고 설명했다.

더불어 그는 에이전트 수요가 빠르게 증가하고 있다는 점에 주목했다. 고객들은 이제 "모델을 달라"가 아니라 "이런 업무에 쓸 수 있는 AI를 구축해 달라"는 요청을 한다는 것이다. KT는 이 흐름에 대응하기 위한 기술 내재화와 솔루션화를 병행하고 있다.

데이터 주권과 보안도 KT가 강조한 핵심이다. 배 상무는 외산 AI가 한국의 규제 환경이나 민감 정보 보호에 취약할 수 있다며 KT가 IDC 인프라를 중심으로 국내 데이터의 위치·암호화·분리 보관을 기본으로 하는 클라우드 보안 체계를 갖췄다고 설명했다.

다만 클라우드 전환 지연은 국내 AI 확산의 병목으로 꼽혔다. 배 상무는 "우리나라는 아직도 온프레미스 환경이 많아 AI 기획보다 데이터 기반 공사부터 다시 해야 하는 상황"이라며 "이 구조가 프로젝트 시간·비용을 늘리는 대신 역으로 국내 기업의 진입장벽이 될 수 있다"고 말했다.

이날 발표에서는 '한국적인 AI'를 위한 문화적 기반 확보 노력도 소개됐다. 배 상무는 서울대, 한국학중앙연구원 등과 협업해 문사철 기반의 언어·지식 체계를 학습 데이터에 반영하고 있으며 정서적 맥락을 이해하는 AI 구현에 집중하고 있다고 설명했다.

KT의 독자 모델 '믿:음 2.0'은 오픈소스로 공개돼 성능과 실용성 모두를 확보했다는 평가를 받고 있다.

배순민 KT 상무는 "'믿:음'은 15B급 이하 모델 중 국내 최상위 성능을 기록했다"며 "이를 기반으로 문서 분석, 정보 검색, 텍스트 요약 등 검색증강생성(RAG)형 기능을 통합해 제공하고 있다"고 밝혔다.

자동화된 공격 현실화…AI 보안, 조직 역량이 좌우

이어 발제를 진행한 윤두식 이로운앤컴퍼니 대표는 생성형 AI 확산 속에서 보안이 후순위로 밀릴 수 없다고 강조했다. 특히 기업들이 내부 데이터 노출과 에이전트 오작동 가능성을 우려하는 상황에서 '프롬프트 인젝션'을 포함한 다양한 공격이 현실적으로 감행되고 있다는 점을 지적했다.

윤 대표는 LLM 보안 위협의 핵심으로 프롬프트 인젝션, 시스템 프롬프트 추출, 자동화된 젤브레이크(jailbreak) 시도 등을 꼽았다.

그는 "금지어를 피하는 수준을 넘어서 의미론적 회피, 역할극 기법, 공감 유도 등 사람을 속이는 전략과 유사한 공격이 AI에게도 먹힌다"고 설명했다.

일례로 윤 대표는 뉴질랜드 의료 챗봇 사례를 통해 사용자가 감정적으로 설득해 시스템 프롬프트를 추출한 사례를 소개했다. 이같은 '신뢰 유도형' 공격은 단발성 입력이 아닌 멀티턴 대화 방식으로 AI의 경계를 무너뜨리는 식으로 진행된다.

기업들이 활용하는 AI 에이전트가 이메일 자동 회신, 고객 대응 등 실시간 서비스에 투입되는 상황에서는 공격자가 보이지 않는 명령어를 삽입해 시스템을 교란시킬 가능성도 크다. 이에 윤 대표는 LLM 보안 대응을 '한 번의 테스트'가 아닌 '지속적인 레드팀 운영' 문제로 규정했다.

그는 "모델 버전이나 정책이 조금만 바뀌어도 방어 체계는 무력화될 수 있다"며 "매일 새로운 인젝션 패턴이 등장하는 상황에서 정적 필터링만으로는 위험을 감지하기 어렵다"고 말했다.