"AI 안전, 선택 아닌 필수"…서울서 글로벌 거버넌스 협력 '한목소리'

일본·싱가포르·EU 등 AI안전연구소 한자리…연구기관·기업 150여명 참석

"인공지능(AI)은 인류가 만든 가장 강력한 발명이지만 그만큼 안전에도 두 배의 노력이 필요합니다."

김명주 한국 인공지능안전연구소장은 28일 호텔 나루 서울 엠갤러리 앰배서더에서 열린 '2025 인공지능 안전 서울 포럼'에서 이같이 강조했다.

이번 포럼은 과학기술정보통신부가 주최하고 한국전자통신연구원·한국 AI안전연구소가 주관한 첫 글로벌 AI 안전 행사로, 세계 각국의 연구기관·정부·산업계 관계자 약 150명이 참석했다.

2025 인공지능 안전 서울 포럼 현장 (사진=한정호 기자)

행사에서는 '보다 안전한 AI 세상을 향한 글로벌 협력'을 주제로 AI 안전 거버넌스·평가·레드티밍 등 국제적 협력 방향이 논의됐다.

개회식에서 송상훈 국가AI전략위원회 지원단장은 "AI 기술의 발전은 인류의 삶을 바꾸는 동시에 새로운 위험을 수반해왔다"며 "신뢰할 수 있고 안전한 AI를 확보하는 것은 앞으로 풀어나가야 할 시급한 과제"라고 말했다.

송상훈 국가AI전략위원회 지원단장 (사진=한정호 기자)

또 다음 달 공개 예정인 정부의 'AI 액션플랜'을 언급하며 "안전과 신뢰를 핵심 가치로 삼아 대한민국이 국제 AI 안전 네트워크의 일원으로서 책임을 다하겠다"고 강조했다.

행사 첫 번째 세션에서는 일본·싱가포르·유럽연합(EU)·한국 등 주요 국가의 AI 안전 기관 관계자들이 발표자로 참여해 각국의 정책과 연구 성과를 공유했다.

아키코 무라카미 일본 AI안전연구소장 (사진=한정호 기자)

아키코 무라카미 일본 AI안전연구소장은 "2023년 G7 히로시마 정상회의 이후 각국이 AI 안전 프로세스 구축에 속도를 내고 있다"며 "일본 역시 AI 안전 표준 수립과 산업 간 협력 허브로서 역할을 강화하고 있다"고 설명했다. 이어 "AI 안전은 기술 자체뿐 아니라 활용 혁신과 균형을 맞춰야 한다"며 "데이터 품질 관리, 산업별 안전 가이드라인 제정 등 실질적 조치가 병행돼야 한다"고 덧붙였다.

두 번째 발표에서 바네사 윌프레드 싱가포르 정보통신미디어개발청(IMDA) 부국장은 "AI 안전이 혁신을 가로막아선 안 된다"며 "싱가포르는 신뢰를 기반으로 한 책임 있는 AI 생태계를 만드는 것이 목표"라고 밝혔다.

바네사 윌프레드 싱가포르 정보통신미디어개발청(IMDA) 부국장 (사진=한정호 기자)

현재 싱가포르는 AI 기업이 자율적으로 안전 기준선을 설정하고 테스트할 수 있도록 'AI 그래파이트 파운데이션'을 운영 중이며 금융·헬스케어 분야에서 샌드박스를 통해 안전성 평가를 수행하고 있다.

윌프레드 부국장은 "에이전틱 AI 시대에는 자동화로 인한 편향이 심화될 수 있어 인간의 개입과 검토가 필수적"이라며 인간 중심의 AI 거버넌스 필요성을 강조했다.

루실라 시올리 EU AI국장 (사진=한정호 기자)

영상으로 참여한 루실라 시올리 EU AI국장은 올해 8월부터 본격 적용된 'EU AI법'의 핵심 내용을 설명했다. 그는 "고위험 AI 시스템과 범용 AI 모델에 대한 규정을 통해 투명성과 안전을 확보할 것"이라며 "25개 이상 기업이 자발적으로 참여한 'AI 실천 강령'이 핵심 역할을 할 것"이라고 말했다.

시올리 국장은 "한국·싱가포르·미국 등과 AI안전연구소 네트워크를 통해 평가 방법론과 표준을 공유하겠다"며 국제 협력 의지도 드러냈다.

마지막 발표자로 나선 김명주 소장은 한국 AI안전연구소의 활동과 성과를 소개했다. 그는 우리나라의 AI 기본법 제12조를 언급하며 "우리 연구소는 법적 기반 위에서 AI 세이프티를 기술·정책·윤리 세 축으로 다루고 있다"고 설명했다. 

또 "MIT의 AI 리스크 레퍼지토리를 바탕으로 리스크 맵핑 프로젝트를 진행 중이며 원인·결과·대응 주체를 3D 형태로 시각화해 잠재 리스크를 조기 식별 중이라"고 발표했다.

그러면서 "평가·정책·기술 검증을 통해 국내 기업 경쟁력을 높이는 동시에 글로벌 생태계의 안전 수준을 함께 높여나갈 것"이라고 말했다.

김명주 한국 AI안전연구소장 (사진=한정호 기자)

이번 포럼에는 ▲LG AI연구원 ▲네이버클라우드 ▲구글 딥마인드 ▲앤트로픽 ▲세이퍼 AI ▲스케일 AI ▲카르마 등 주요 기업·기관이 참여했다. 특히 한국 AI안전연구소와 스케일 AI는 업무협약을 체결해 레드티밍 협력을 본격화했다. 포럼 둘째 날인 오는 29일에는 프론티어 AI 모델을 대상으로 한 실습형 레드티밍 워크숍이 진행된다.

김 소장은 "안전하고 신뢰할 수 있는 AI를 만드는 것은 선택이 아니라 필수"라며 "AI 안전은 어느 한 나라나 기업의 몫이 아닌, 인류가 함께 만들어가야 할 글로벌 생태계의 과제"라고 강조했다.