"AI 모델, 클수록 위험성 증가…AI 안전성 강화해야"

美 전문가, 'AI 레드팀 챌린지'서 AI 안전·윤리 강화 나서

"인공지능(AI) 기술이 어디까지 영향 미칠지 아무도 모른다. 확실한 건 AI가 발전할수록 안전성은 더 낮아진다는 점이다. 각국이 나서서 AI 안전성을 강화해야 하는 이유다"

크리스 메세롤 프론티어 모델 포럼 대표는 과학기술정보통신부와 네이버클라우드가 12일 개최한 'AI 레드팀 챌린지' 기조연설에서 AI 발전에 맞는 안전 시스템을 구축해야 한다고 강조했다. AI 기술이 어디까지 영향을 미치는지, 부작용은 무엇인지 불확실하다는 이유에서다.

프론티어 모델 포럼은 오픈AI를 비롯한 구글, 마이크로소프트, 앤트로픽이 모여 구축한 포럼이다. 지난해 출범했다. 안전하고 책임감 있는 AI를 보장하는 단체다. AI 잠재적 위험성을 파악하고 이를 방지하기 위한 방법을 찾는 역할을 맡았다. 이를 통해 AI 안전 표준을 마련한다.

크리스 메세롤 프론티어 모델 포럼 대표.

메세롤 프론티어 모델 포럼 대표는 "생성형 AI 기술은 계속 발전할 것"이라며

"이는 부정적인 영향을 초래할 수 있다"고 지적했다. 사람은 기술 발전으로 편리함을 누릴 수 있지만, 해당 기술이 어떤 위험성을 가졌는지 모른다는 이유에서다.

그는 "AI 위험성이 언제, 어느 시점에서 나타날지 모른다"며 "사람은 100% 안전한 AI를 활용할 수 없다"고 설명했다.

포럼 대표는 생성형 AI가 여러 분야에 위험성을 내포하고 있고 말했다. 그는 "분야마다 대응할 수 있는 시스템을 구축해야 한다"며 "핵 개발, 군사 등 특정 분야엔 이에 대한 주의가 더욱 필요하다"고 전했다. 개인맞춤형 AI도 안전하지 않다고 했다. 그는 "이는 사용자 정보에 기반해 결과물을 생성한다"며 "설득력을 좀 더 높여서 환각 현상을 부추길 수 있다"고 했다.

그는 현재 프론티어 모델 포럼이 추진하는 AI 안전성 방안을 소개했다. 우선 해로운 데이터를 모델에 학습하지 않는 기술을 채택하는 법이다. 그는 "모델이 생화학 무기 제조법을 알고 있는 상황에 해당한다"며 "관련 데이터셋을 기술적으로 제거하는 방식 필수"라고 했다. AI가 비윤리적이고 해로운 주제에 접근조차 할 수 없도록 막아야 한다는 의미다.

메세롤 대표는 "현재 포럼 멤버는 기업 4곳뿐"이라며 "앞으로 가입을 원하는 AI 기업은 어디든 환영이다"고 강조했다.

레드티밍 강화도 필요하다고 했다. 그는 "다만 확실하게 위협모델을 파악해야 한다"며 "위협을 감지하는 AI 시스템과 인간 개발자 협업을 통해 이룰 수 있다"고 강조했다.

그는 "현재 멤버는 기업 4곳뿐"이라며 "앞으로 가입을 원하는 AI 기업은 어디든 환영이다"고 강조했다.

스태빌리티AI "데이터셋은 '블랙박스'…AI탈중앙화 시급"

에마드 모스타크 전 스태빌리티AI CEO는 모델에 들어가는 데이터셋 형식와 내용, 출처 등 모든 정보를 공개해야 한다고 주장했다. 이를 통해 AI의 탈중앙화를 이루고 AI 안전성과 윤리를 높여야 한다는 말이다.

에마드 모스타크 전 스태빌리티AI CEO.

모스타크 전 스태빌리티AI CEO는 데이터셋이 모델 품질을 결정한다고 주장했다. 그는 "현재 데이터셋은 블랙박스 형태"라며 "모델이 어떤 데이터를 학습하고 있는지 아무도 모른다"고 말했다. 그는 "데이터 학습 수준이 높아야 결과 수준도 높다"며 "모델이 무슨 데이터를 학습하는지 알아야 하는 결정적 이유"라고 했다.

그는 AI탈중앙화가 시급하다는 입장이다. AI탈중앙화를 통해 사용자는 모델에 들어가는 데이터셋을 결정할 수 있다는 설명이다. 모델 사용자들끼리 데이터셋 형태, 내용, 품질 등을 스스로 판단한 뒤 투표를 진행하는 식이다.

사용자는 자국 문화와 가장 연관 깊은 데이터셋을 선택하거나, 자신의 분야를 가장 잘 아는 데이터셋에 투표할 수 있다. 투표를 가장 많이 받은 데이터셋이 모델에 들어간다. 그는 "모델 이용자는 데이터에 어떤 편향이 들어가 있는지, 누가 알고리즘에서 소외됐는지 파악할 수 있다"고 덧붙였다.

그는 현재 AI 생태계가 매우 중앙집중화돼 있다고 지적했다. 오픈소스 모델이 증가했지만 그 안에 들어가는 데이터셋 접근은 제한된 상태기 때문이다. 그는 "데이터셋 접근 차단은 AI 생태계를 경직화한다"고 했다.

그는 AI 안전성과 윤리를 강화하기 위해 AI탈중앙화가 가장 시급하다는 입장이다. 그는 "모든 사람이 평등한 위치에서 데이터셋 내부를 투명하게 볼 수 있고 감시, 해석할 수 있는 AI를 누리길 바란다"고 전했다.

그는 지난달 자신이 세운 스태빌리티AI에서 퇴사했다. 모스타크 전 CEO는 "누구나 모델 내 데이터셋을 볼 수 있는 AI탈중앙화를 진행할 수 있는 기업을 세울 것"이라며 "블랙박스 안에 갇힌 AI 생태계는 바람직하지 않다"고 했다.

코히어 "고객사와 꾸준한 소통, AI 안전성 높여"

에이단 고메즈 코히어 CEO는 자사 개발자와 고객의 꾸준한 소통이 AI 안전성을 높이는 지름길이라고 주장했다.

에이단 고메즈 코히어 CEO.

고메즈 코히어 CEO는 고객과 꾸준한 소통을 통해 제품을 만든다고 했다. 예를 들어, 고객사에 AI 챗봇을 제공할 경우, 어떤 약관을 챗봇에 넣어야 하는지 논의를 통해 결정한다. 그는 "챗봇이 사람인 척을 못 하게 하는 등 최대한 거대언어모델(LLM)을 훈련함으로써 악용 사례를 막고 있다"고 강조했다. 이 외에도 편견 방지, 비윤리적 주제 대화 등 여러 방식을 통해 AI 안전에 힘쓴다는 입장이다.

코메즈 CEO는 AI 발전과 안전성 고려를 균형감 있게 추진해야 한다고 했다. 그는 "AI가 아무리 빨리 발전해도 갑자기 대재앙을 일으킬 정도는 아니다"며 "인간은 AI의 리스크에 적절히 대응할 것으로 믿는다"고 했다.

다만 AI 발전 위한 규제는 어느 정도 필요하다고 봤다. 그는 "요즘 기업들조차도 적절한 AI 규제를 원하는 추세"라며 "이를 통해 AI 개발사는 어떤 트렌드에 맞춰서 제품을 개발해야 할지 판단할 수 있기 때문"이라고 설명했다. 반면 규제가 지나칠 경우 AI 혁신은 지체될 수 있다는 입장을 밝혔다.