"AI 빨라질수록 브레이크 필요"…밀라, '신뢰할 수 있는 AI' 강조

[AI 페스타 26] "AI 안전, 기술 가속화 기반…韓과도 협력 원해"

인공지능(AI) 안전을 기술 발전을 가로막는 규제가 아닌 AI 도입을 앞당기는 기반으로 바라봐야 한다는 제언이 나왔다. AI가 챗봇을 넘어 스스로 판단하고 행동하는 에이전트로 진화하면서 예상하지 못한 행동과 공격 위험도 커지는 만큼, 기술 개발 단계부터 신뢰할 수 있는 안전장치를 함께 설계해야 한다는 주장이다.

프레데릭 로랑 밀라(MILA) 파트너십 총괄은 7일 서울 코엑스에서 열린 ‘AI 페스타 2026’ 퓨처 테크 컨퍼런스에서 “AI 안전은 AI 도입을 늦추기 위해 존재하는 것이 아니라 오히려 AI 도입을 가속화할 수 있는 기반”이라고 강조했다.

MILA는 튜링상 수상자인 요수아 벤지오 몬트리올대 교수가 설립한 캐나다 AI 연구기관이다. 현재 1400명 이상의 AI 연구 커뮤니티와 120곳 이상의 산업 파트너를 보유하고 있다.

프레데릭 로랑 밀라(MILA) 파트너십 총괄이 7일 서울 코엑스에서 열린 ‘AI 페스타 2026’ 퓨처 테크 컨퍼런스에서 강연을 진행하고 있다. (사진=지디넷코리아)

그는 도널드 트럼프 미국 행정부가 앤트로픽을 공급망 위험으로 규정한 뒤 추가 정부 계약을 체결하지 못하게 한 일과 AI 챗봇을 속여 5만 달러(약 6700만원) 자동차를 단돈 1달러(약 1340원)에 판매하게 만든 사례를 예로 들며 AI가 가진 위험성을 경고했다.

로랑 총괄은 AI를 향한 공격 방식은 정교하게 발전하고 있다며 위험한 질문에 답을 내놓지 않게 설계된 AI 챗봇도 여러 차례에 걸쳐 대화를 이어가는 ‘크레센도 공격’ 방식이 적용되면 답을 내놓는 사례도 있었다고 소개했다.

그는 “(이 사례는) 개별 프롬프트 하나만 살펴보는 것이 아니라 시간의 흐름에 따라 전체 대화를 이해할 수 있는 시스템과 안전장치가 필요하다는 점을 보여준다”고 설명했다.

이어 로랑 총괄은 영어 중심 AI 연구의 한계를 지적하며 한국어도 AI 공격에 상대적으로 취약한 언어 중 하나라고 강조했다. 한국어의 경우 자모 분해, 구형 모델을 사용할 때 발생할 수 있는 안전하다는 착각, 문화적 불일치가 문제가 될 수 있다고 짚었다.

그러면서 로랑 총괄은 신뢰할 수 있는 AI를 만들기 위해 데이터 필터링, 파인튜닝, 프롬프팅, 런타임 가드레일 4단계를 거칠 것을 조언했다.

그는 AI 발전 상황이 챗봇에서 에이전틱 AI로 넘어가면 다른 유형의 위험이 발생할 수 있다고 우려하기도 했다. AI 에이전트는 정렬 위장, 자기 보존, 창발적 비정렬, 책략, 아첨 등의 행동을 하기 때문에 통제가 보다 어렵다고 진단했다.

로랑 총괄은 엔비디아와 밀라의 벨 캐나다 협력 사례를 제시하며 이들이 AI 활용에서 안전을 담보하기 위해 개발한 안전장치를 소개했다. 그는 한국과도 협력하고 싶다는 의사를 밝히면서 AI 안전은 기술 도입을 늦추는 것이 아닌 믿을 수 있는 환경을 조성할 수 있는 하나의 장치라고 덧붙였다.

로랑 총괄은 “서울의 택시가 빠르게 달릴 수 있는 것은 모두가 믿을 수 있는 브레이크가 있기 때문”이라며 “AI 안전이 바로 그 브레이크다. AI 안전은 AI 도입을 늦추기 위해 존재하는 것이 아니라 오히려 AI 도입을 가속화할 수 있는 기반”이라고 평가했다.

AI 페스타 2026은 과학기술정보통신부가 주최하고 한국인공지능·소프트웨어산업협회(KOSA)와 AI페스타조직위원회가 주관하는 인공지능주간 공식 행사다. 올해 행사는 6일부터 8일까지 사흘간 서울 코엑스 C홀에서 열린다. 212개 기업, 501개 부스 규모로 마련돼 역대 최대 규모로 개최되며 AI 코어, 에이전틱 AI, 피지컬 AI, AI 보안, 국방 AI, AI 반도체 등 다양한 기술과 산업 적용 사례를 선보인다.