오픈AI, '핵무기' 포함한 재앙적인 AI위험 대비 나서

AI 위협을 추적, 예측하는 '대비(Preparedness)' 프로젝트팀 구

챗GPT를 서비스 중인 오픈AI가 재해 수준의 대규모 피해를 일으킬 수 있는 AI 위험에 대비하기 위해 전문 팀을 구성했다.

26일(현지시간) 테크크런치 등 외신에 따르면 오픈AI는 미래 AI 시스템의 위협을 추적, 예측하는 대비(Preparedness) 프로젝트팀의 참가자를 모집 중이라고 밝혔다.

MIT 배치형 기계학습 센터의 알렉산더 매드리 소장이 이끄는 이 프로젝트는 최신 AI 시스템의 진화 과정 및 기능을 면밀하게 모니터링하고 예측하는 것을 목표로 한다. 또한 점차 빠르고 복잡하게 발전하는 AI 시스템을 분석해 위험 정도를 평가하고, 각 시스템을 안전하게 관리 및 처리할 수 있는 체계적인 절차와 인프라를 개발할 예정이다.

오픈AI

팀에서 고려하는 위협은 화학, 생물학, 방사능 등 국가 안보 관련 영역과 자기 복제, 기만, 조작과 사회문제까지 고려한다. 아직 실존하지 않는 기능이라도 사회에 치명적인 영향을 미칠 수 있는 모든 위협을 포함한다.

이를 위해 오픈AI는 사이버 보안, 화생방 및 핵무기 방어(CBRN), 국가 보안, 공공 안전 전문가를 확보하며 관련기술 역량을 높일 계획이다.

이와 함께 오픈AI는 AI안전을 위한 공유 표준 및 모범 사례 개발을 위한 프론티어 모델 포럼을 마이크로소프트, 구글 딥마인드, 앤트로픽과 함께 공동으로 설립했다.

현재 포럼은 AI 개발 과정에서 치명적인 위험이 발생하지 않도록 위험 정보 개발 정책(RDP)을 개발 중이다.

RDP는 위험 기반 접근 방식을 심화한 모델 역량 평가 및 모니터링 방식을 개발하고 개발 프로세스 전반에 걸쳐 책임과 감독을 포함한 거버넌스 구축을 지원하기 위해 마련된다.

또한, 재앙적인 결과로부터 보호하기 위한 다양한 조치 방안도 고안한다. 지속적인 연구를 바탕으로 AI의 위험 수준과 대응 방안 등을 동적으로 업데이트 중이다.

오픈AI는 안전성 강화를 위해 가상 공격자인 레드팀 등을 조직해 출시하는 새로운 주요 모델을 모두 평가할 예정이다. 테스트 과정 중 놓칠 수 있는 취약점을 대비해 사용자가 문제점을 찾으면 금전 등으로 보상을 제공하는 버그바운티도 실시한다.

오픈AI 측은 “AI 모델은 모든 인류에게 이익을 줄 수 있는 잠재력을 가지고 있는 반면, 점점 더 심각한 위험을 불러일으킬 수 있다는 우려도 나타나고 있다”며 “우리는 AI가 긍정적인 변화를 촉진할 수 있도록 점점 더 역량이 강화되는 첨단 AI 모델 개발에 가장 잘 대비할 수 있도록 지원하는 전담 팀을 꾸리게 됐다”고 밝혔다.

이어서 “오픈AI는 AI가 모든 인류에게 혜택을 줄 수 있도록 최선을 다하는 AI 연구 및 배포하는 기업”이라며 “이러한 사명을 달성하기 위해 다양한 관점, 의견 및 경험을 보유한 인재를 찾고 있다”고 말했다.