과기정통부가 미국에 이어 두 번째로 국가차원의 대규모 ‘생성형 AI 레드팀 챌린지’ 행사를 다음달 개최한다.
'AI 레드팀’은 통제 환경에서 적대 방법을 사용해 AI 시스템의 유해하거나 차별적인 결과나 시스템 오용 등 결함과 취약성을 식별하는 테스트 활동을 말한다. 오픈AI, 구글, 네이버클라우드 등 국내외 AI 기업도 자체 AI 레드팀을 구성해 운영하고 있다. AI기업이 AI 안전과 신뢰성을 확보할 수 있는 방법으로 주목받고 있다.
21일 과기정통부는 한국정보통신기술협회(TTA, 회장 손승현)와 함께 '생성형 인공지능 레드팀 챌린지(이하 ‘레드팀 챌린지' 행사를 다음달 11일부터 이틀간 코엑스 B2홀에서 개최, AI 윤리와 안전에 관심이 있는 국민을 대상으로 행사 참가자 1000명을 모집한다고 밝혔다.
최근 생성AI 기술이 고도화‧확산함에 따라 다양한 윤리적 이슈 우려가 커지고 있는데 과기정통부는 "챌린지에 참가자가 대규모로 참여해 국내 AI기업의 대형언어모델(LLM)을 집중적으로 점검할 수 있는 장을 마련함으로써 민간이 자율적으로 AI 안전과 신뢰성을 확보할 수 있게 지원하기 위해 ‘레드팀 챌린지’ 행사를 기획했다"고 설명했다.
행사는 다음달 11~12일 이틀간 서울 코엑스 B2홀에서 열린다. 과기정통부와 한국정보통신기술협회(TTA), 초거대 AI 추진협의회가 주최 및 주관하고 네이버클라우드, SKT, 업스테이지, 포티투마루 등이 참여한다. 특히 행사 2일차인 '글로벌 AI 안전컨퍼런스'에는 코히어(Cohere), 스태빌리티AI(Stability AI), xAI, 프론티어모델 포럼 등 글로벌 AI 기업과 단체가 참여한다. AI 윤리와 신뢰, 안전에 관심이 있는 국민 누구나 참여할 수 있는데 사전 접수한 1000명만 참여할 수 있다.
행사 1일차에 개최하는 ‘레드팀 챌린지’는 네이버클라우드‧SKT‧업스테이지‧포티투마루 등 국내를 대표하는 AI 기업의 모델을 대상으로 1000명의 참가자가 잠재적 위험‧취약점을 식별하는 공개 챌린지 방식으로 진행한다.
■ 코히어, 스태빌리티AI, xAI 등 글로벌 AI기업 참여 컨퍼런스도 다음달 12일 개최
이어 행사 2일차에는 코히어 아이단 고메즈(Cohere Aidan Gomez) 대표와 스태빌리티 AI 에머드 모스타크(Emad Mostaque) 대표, 프론티어모델 포럼 크리스 메세롤(Chris Meserole) 의장, xAI 댄 헨드릭스(Dan Hendrycks) 안전 담당고문, 네이버클라우드 하정우 퓨처 AI 센터장, SKT 에릭 대비스(Eric Davis 부사장), 셀렉트스타 김세엽 대표, 카카오 김경훈 이사, KAIST 오혜연 교수 등 국내외 대표 AI 기업‧기관‧전문가가 참여하는 ‘글로벌 AI 안전 컨퍼런스’가 열린다. 해외 참가 기업 중 xAI는 일론 머스크가 세운 AI기업이다.
앞서 지난해 7월 글로벌 AI기업 4개사인 구글‧오픈AI‧MS‧앤트로픽은 AI 안전표준 개발을 위한 협의체를 구성한 바 있다. 이번 ‘레드팀 챌린지’ 행사에 참여한 AI기업은 사용자 다양성을 반영한 평가 데이터셋을 확보하고, 자사 모델의 잠재적인 위험‧취약점 파악을 통해 안전성과 신뢰성을 제고할 수 있는 계기가 될 것으로 과기정통부는 기대했다.
또 과기정통부는 이번 ‘레드팀 챌린지’ 결과를 분석해 생성형AI 분야의 공통‧포괄적인 위험을 도출하고, 업계에서 활용할 수 있는 ‘생성형 AI 레드팀 수행가이드라인’을 마련하는 등 표준화한 AI 위험 발굴과 대응체계를 구축할 계획이다.
챌린지 참가 희망자는 다음달 10일까지 행사 홈페이지(www.aiignite.org)에 신청하면 된다. 선착순으로 1000면까지 모집한다. AI 모델 위험과 취약점을 가장 많이 발견한 총 5명의 우수 참가자에게는 과기정통부 장관상 등을 포함해 총 1700만원 규모 상금을 수여한다.
강도현 과기정통부 제 2차관은 "이번 레드팀 챌린지 행사를 계기로 국내 산업계에 AI 안전성 확보를 위한 자발적인 노력이 확산되고, AI를 활용하는 일반국민도 AI 윤리의 중요성에 대한 인식이 확대되기를 기대한다”면서 “국내외 AI 대표기업과 AI에 관심이 많은 국민이 AI 안전성 확보를 위해 대규모로 참여하는 만큼, 이번 행사가 글로벌 차원에서도 AI 안전성 확보의 모범사례가 될 수 있기를 바란다"고 밝혔다. 이어 강 차관은 "나아가 오는 5월에는 우리나라에서 AI 안전성 정상회의를 개최, AI 안전성과 혁신에 대한 글로벌 논의를 주도하고, 국내 AI 혁신생태계를 조성해 나가겠다”고 덧붙였다.
