TTA, 사회‧문화적 맥락 기반 생성형AI 위험 평가 데이터셋 구축

양한 위험 요소에 대한 안전성 평가 기반 마련

한국정보통신기술협회(TTA)는 한국과학기술원, 서울시립대, 계명대, 셀렉트스타, 카카오로 구성된 연구협력팀 한국과학기술원 최호진 교수 연구팀 등과 생성형 AI 위험 평가를 위한 AI 안전성 평가 데이터셋 ‘AssurAI’ 를 구축을 완료했다고 18일 밝혔다.

이 연구는 과학기술정보통신부가 추진하는 생성형 AI 안전성 평가기반 마련 사업의 일환으로 수행됐다.

TTA는 과기정통부, 관계 기관과 협력해 AI 신뢰성 인식 제고와 안전한 활용 확산을 위한 다양한 노력을 기울여왔다. 이 연구는 급격히 확대되고 있는 생성형 AI 활용 과정에서 발생할 수 있는 위험을 체계적으로 관리하기 위해 추진된 것으로, 국내 AI 기업이 자사 모델의 안전성을 수치 기반으로 진단하고 개선 전략을 설계할 수 있는 실질적인 평가 기반을 제공하기 위해 수행됐다.

데이터셋은 글로벌 AI 위험 분류체계를 참고하면서도 한국의 사회적 문화적 맥락을 반영한 다양한 위험 요소에 대한 정량적 평가를 지원한다. 특히 텍스트, 이미지, 비디오, 오디오를 포함하는 멀티모달 모델의 위험 평가를 지원해 최신 AI 기술 동향에 부합한 포괄적 평가가 가능하다. 프롬프트 유형은 일반적인 서비스 이용 상황과 악의적 공격 시도를 모두 평가 시나리오에 포함하도록 설계돼 일상적인 사용부터 오남용·공격 시도에 이르는 다양한 조건에서 AI 모델의 안전성을 종합적으로 평가할 수 있다.

‘AssurAI’ 데이터셋은 오픈소스 라이브러, AI 모델 배포 플랫폼인 허깅페이스에 공개돼 누구나 연구 개발, 모델 안전성 평가, 레드팀 테스트 시나리오 설계 등 다양한 목적으로 활용할 수 있다.

TTA는 연구협력팀과 협력해 상용 연구용 AI 모델을 대상으로 시범 평가를 진행했으며, 향후에는 국내 AI 서비스가 공공·민간 전 영역에서 공통된 안전성 기준에 따라 평가될 수 있도록 실증에 기반한 안전성 평가를 본격화할 계획이다.

이후 관계기관들과 협력해 데이터셋의 고도화 및 추가 구축, 신규 위험요소에 대한 발굴 및 평가 기반 구축, 평가 사례 확산 등 후속 활동을 추진해나갈 계획이다.

손승현 TTA 회장은 “AI가 사회 전반으로 확산할수록 안전성을 객관적으로 검증할 수 있는 평가 체계 없이는 신뢰를 확보하기 어렵다”며 “국내 기업과 연구기관이 모델의 위험 요소를 체계적으로 점검할 수 있도록 지원하는 것이 TTA의 역할이며, 평가 데이터셋과 절차를 국내 제도·정책과 긴밀히 연계해 우리나라 AI 산업이 글로벌 수준의 안전성과 신뢰성을 갖출 수 있도록 평가 인프라와 표준 체계를 지속적으로 고도화해 나가겠다”고 말했다.