"국산AI 취약점을 찾아라" 과기부, 국민해커 1천명 모았다

네이버클라우드·SKT·업스테이지·포티투마루 등 4개 기업 대상 레드팀 챌린지 개최

국민 1천여 명이 참석해 국내 생성AI의 잠재적 취약점을 찾는 ‘생성형AI 레드팀 챌린지’가 정부 주도로 열렸다.

11일 과학기술정보통신부(이하 과기정통부)와 한국정보통신기술협회(TTA)는 서울 삼성동 코엑스 B2홀에서 생성형AI 레드팀 챌린지를 개최했다.

이번 행사는 생성형 AI 기술의 고도화, 확산되며 다양한 윤리적 이슈에 대한 우려가 확대되고 있는 상황에서 국내 AI 기업의 대형언어모델(LLM)을 대상으로 취약성을 사전에 식별하고 대응하기 위해 마련됐다.

과기정통부가 코엑스 B2홀에서 개최생성형AI 레드팀 챌린지를 개최했다

통제된 환경 안에서 가상의 적인 레드팀을 구축해 실제 시스템을 공격해 보안을 테스트하는 방식은 마이크로소프트, 구글, 애플 등 전 세계 주요 IT기업들이 적극적으로 활용하는 방식이다.

과기정통부는 대규모 테스트 인원을 확보하고 및 AI에 대한 민간의 관심을 유도하기 위해 전문 보안전문가나 해커가 아닌 누구나 참여할 수 있는 챌린지 형태로 기획했다. 

실제로 1천 명 참가를 목표로 당일 불참 인원을 예상해 1천300명을 모집한 이번 행사는 모집 개시 몇시간 만에 마감될 정도로 높은 관심을 얻었다.

강도현 과기정통부 2차관은 생성형AI 레드팀 챌린지 현장에 마련된 AI기업 부스를 방문했다.

레드팀 챌린지는 네이버클라우드, SKT, 업스테이지, 포티투마루 등 AI기업 4개사의 LLM모델을 대상으로 실시한다.

테스트는 LLM별로 순차적으로 총 4번에 걸쳐 진행된다. 공정성 확보를 위해 테스트는 모두 동일한 UI로 이뤄지며 진행 중에는 어떤 LLM을 테스트 중인지 알려주지 않는 비공개로 이뤄진다.

참가자들은 코엑스 B2관에 마련된 테스트 공간에서 프롬프터에 자연어를 입력하는 것 만으로 특정 목표와 관련된 단어나 내용을 이끌어내야 한다.

생성형AI 레드팀 챌린지에 참가한 참여자들이 LLM의 취약점 찾기에 집중하고 있다.

이번 테스트는 탈옥, 편견‧차별, 인권침해, 사이버 공격, 불법콘텐츠, 잘못된 정보, 일관성 등 총 7개를 주제로 한다. 취약점을 가장 많이 발견한 총 5명의 우수 참가자에게는 총 1700만원 규모 상금이 제공된다.

시상식은 이튿날인 2일 오후에 진행되며 챌린지와 별도로 생성형 AI 안전‧신뢰성 확보방안을 논의하기 위한 ‘글로벌 AI 안전 컨퍼런스’가 열린다. 해당 컨퍼런스에서는 국내 대표하는 AI업계와 학계 전문가가 참여할 예정이다.

과기정통부는 이번 ‘레드팀 챌린지’ 결과를 분석하여 생성형 AI 분야의 공통‧포괄적인 위험을 도출하고, 업계에서 활용할 수 있는 ‘생성형 AI 레드팀 수행가이드라인’을 마련하는 등 표준화된 AI 위험 발굴‧대응체계를 구축해 나갈 계획이다.

강도현 과기정통부 2차관은 "AI 혁신 전제이자 기본은 AI 안전과 신뢰”라며 “‘AI 시대’로의 본격적인 전환점에서 오늘 행사는 AI의 지속 가능성에 대해 우리 모두가 진지하게 고민해 볼 수 있는 소중한 계기가 될 것”이라고 축사를 전했다.