오픈AI, GPT 안전장치 강화… "더 강한 모델일수록 더 엄격하게"

오픈AI가 허깅페이스 취약점 유출 사고 이후 연구·훈련 환경 전반을 재점검한 데 이어 모델 역량이 높아질수록 더 엄격한 통제를 적용하는 새로운 개발 보안 체계를 공개했다.

오픈AI는 공식 블로그를 통해 모델 개발과 내부 테스트 단계에서 발생할 수 있는 보안 사고를 억제하기 위한 새 정책을 19일 공식 홈페이지를 통해 밝혔다.

회사는 모델 성능이 고도화될수록 개발 중인 시스템 자체가 새로운 위험 요인이 될 수 있다고 보고, 기존보다 촘촘한 감시와 강한 격리, 보다 엄격한 정렬 절차를 도입한다고 설명했다.

오픈AI 측은 "모델이 더 강력해질수록 내부 개발과 테스트에 따르는 위험도 함께 커진다"며 "모니터링, 정렬, 보안 기준이 그 위험보다 앞서가야 한다"고 밝혔다.

이번 조치는 허깅페이스 취약점 유출 사고 이후 공개된 첫 대규모 안전 체계 개편이라는 점에서 주목된다. 오픈AI는 이번 변화가 특정 사건 하나에 대한 직접 대응만은 아니라고 선을 그었지만 해당 사고와 함께 차세대 모델의 사이버보안 역량 고도화가 정책 강화의 배경이 됐다고 설명했다.

실제로 회사는 아스트라를 비롯한 향후 모델이 더 높은 수준의 보안 위험을 수반할 수 있다고 보고, 개발 속도보다 안전 검증을 우선하는 방향으로 운영 방침을 조정했다.

가장 상징적인 변화는 강화학습(RL) 훈련 운영 방식이다. 오픈AI는 허깅페이스 사고 이후 2주 동안 RL 훈련을 중단하고 연구 환경과 안전 절차를 재점검했다고 밝혔다. 이후 상대적으로 위험도가 낮은 일부 모델과 작업은 재개했지만, 회사가 준비 중인 최대 규모의 프런티어 RL 훈련은 여전히 보류 상태다.

오픈AI는 소규모 훈련과 추가 평가를 통해 모델 행동을 분석하고, 안전장치의 유효성과 정렬 수준에 대한 근거를 충분히 확보한 뒤 다음 단계로 넘어가겠다는 입장이다.

보안 인프라 측면에서는 연구 환경 격리가 핵심 축으로 제시됐다. 오픈AI는 모델이 생성한 코드나 신뢰할 수 없는 코드를 실행하는 워크로드에 대해 기존보다 강한 샌드박스 격리를 적용하고, 고위험 작업과 인터넷, 내부 네트워크 사이에 추가적인 차단 장치를 두겠다고 밝혔다.

이에 따라 단일 워크로드 또는 지원 서비스가 침해되더라도 곧바로 외부 인터넷이나 다른 내부망으로 접근이 이어지지 않도록 구조를 재설계한다는 설명이다. 이는 사고 이후 제기된 네트워크 보안 허점 비판을 의식한 조치로 풀이된다.

오픈AI는 이와 함께 공유 서비스 재구성, 최소 권한 원칙 적용, 보안 경계 강화, 로그 수집 확대 등 기본 보안 통제도 함께 손질하고 있다고 밝혔다. 또 자체 AI 모델을 활용한 모의 공격 기반의 지속적 보안 테스트 자동화에도 투자하고 있다고 덧붙였다. 단순히 침입을 막는 수준을 넘어, 고위험 모델이 개발 환경 내에서 어떤 방식으로 예상 밖 행동을 보일 수 있는지 상시 점검하는 체계로 전환하겠다는 의미다.

새 안전 체계의 중심에는 다단계 모니터링 시스템이 있다. 오픈AI에 따르면 이 시스템은 모델의 도구 사용 행동, 이용 가능한 추론 흔적, 활동 로그 등을 종합 분석해 무단 접근, 데이터 유출, 파괴적 행동, 안전장치 우회 시도 같은 이상 행위를 탐지한다.

의심 신호가 포착되면 보다 정밀한 자동 조사 단계로 넘겨 추가 분석을 진행하며 각 기업은 우려 활동 감지 후 30분 이내 경보 발령을 목표로 하고 있다. 치명적 보안 경계 위반 가능성이 높다고 판단될 경우 안전, 보안, 연구팀에 최우선 경보가 전달되는 구조다.

오탐 가능성에 대한 대응 절차도 포함됐다. 오픈AI는 경보가 발생한 뒤 30분 안에 실제 위협 여부를 명확히 판단하지 못할 경우 관련 작업을 우선 중단하도록 했다고 설명했다. 다만 이 같은 상시 감시에는 상당한 비용이 수반된다. 회사는 현재 기준으로 모니터링에 필요한 연산 부담이 감시 대상 프로세스의 약 20% 수준이라고 추산했다. 그럼에도 오픈AI는 프런티어 모델의 위험을 고려하면 이 정도 비용은 감수할 필요가 있다는 입장이다.

정렬 연구 강화도 이번 발표의 또 다른 축이다. 오픈AI는 가장 강력한 모델에 대한 RL 과정에서 훈련의 더 많은 단계에 정렬 기법을 적용하겠다고 밝혔다. 여기에는 위험 행동을 더 정밀하게 포착하는 보상 모델 개선, 모델이 자신의 능력과 한계를 보다 정직하게 설명하도록 유도하는 학습, 보상 체계나 평가 장치의 허점을 악용하는 행동을 줄이는 작업이 포함된다. 아울러 외부 시스템과 자원에 접근하는 과정에서 나타날 수 있는 유해 행동까지 훈련과 평가 범위를 넓히겠다고 했다.

오픈AI 연구진은 통제 강도가 모델의 위험 수준에 따라 달라질 것이라고 강조했다. 아멜리아 글레이즈 오픈AI 연구 부문 부사장은 기자들과 만나 "우리는 안전한 개발을 위한 요구사항과 기대 수준을 마련했다"며 "그 요구사항과 기대 수준은 우리가 보는 위험 수준에 따라 달라진다"고 말했다. 다시 말해 범용 모델과 고위험 모델을 동일한 잣대로 관리하지 않고, 역량이 높고 위험성이 큰 모델일수록 훨씬 강한 보안 통제를 적용하겠다는 것이다.