NIA-AI 안전연구소 '맞손'…"AI 폭주 막는다"

2만건 데이터셋으로 사이버보안·편향성 검증… '독자 AI 모델' 신뢰도 확보에 총력

정부가 국내 거대언어모델(LLM)의 안전성과 신뢰성을 정량적으로 검증하기 위한 데이터셋 구축에 착수했다. 인공지능(AI) 모델의 위험 요소를 평가해 글로벌 AI 거버넌스 논의에서 주도권을 확보하려는 전략이다.

한국지능정보사회진흥원(NIA)과 과학기술정보통신부는 지난 7일 NIA 서울사무소에서 'LLM 안전성 및 신뢰성 평가 데이터셋 구축' 사업 착수보고회를 개최했다고 8일 밝혔다. 이날 보고회에는 과기정통부와 NIA를 비롯해 사업 수행기관인 AI 안전연구소 관계자들이 참석해 사업 방향을 논의했다.

이번 사업의 핵심은 총 2만 건 이상의 한국어 특화 벤치마크 데이터셋을 구축하는 것이다. 해당 데이터셋은 ▲사이버 보안 ▲AI 자율성 ▲사실 기반 정확성 ▲사회적 가치 편향 등 AI 안전성의 핵심 항목을 포괄한다.

정부가 국내 거대언어모델(LLM)의 안전성과 신뢰성을 정량적으로 검증하기 위한 데이터셋 구축에 본격 착수했다. (사진=NIA)

이번 평가 기반은 과기정통부와 NIA가 추진 중인 '독자 AI 파운데이션 모델 프로젝트'를 통해 개발될 AI 모델의 성능을 검증하는 데 우선 활용될 예정이다. 이를 통해 독자 AI 모델의 완성도를 높이고 잠재적 위험을 사전에 차단한다는 방침이다.

NIA는 그동안 AI 허브를 통해 1천300여 종의 대규모 AI 학습데이터를 구축하고 AI 바우처 사업으로 중소기업의 AI 도입을 지원해왔다. 이번 사업으로 기존의 성능 평가를 넘어 안전성과 신뢰성까지 아우르는 종합 평가 체계를 마련하며 국내 AI 생태계 발전을 이끈다는 평가다.

김명주 AI 안전연구소 소장은 "이번 사업은 단순 성능 비교를 넘어 AI가 우리 사회에서 신뢰받는 기준을 세우는 첫 시도"라며 "공정하고 객관적인 평가체계를 만들어 국내외 AI 신뢰성 생태계를 선도하겠다"고 말했다.

황종성 NIA 원장은 "AI 안전성 평가는 선택이 아닌 필수가 된 시대"라며 "축적한 데이터와 전문성을 총동원해 세계 최고 수준의 AI 안전성 검증 체계를 구축하고 대한민국이 글로벌 표준을 선도하도록 할 것"이라고 강조했다.