안전문제 지적하며 사임한 오픈AI 임원, 앤트로픽 합류

얀 레이케 "오픈AI 상업적 이익 집중 안전 소홀, 앤트로픽서 연구 집중"

이달 초 안전 문제를 지적하며 사임한 오픈AI의 경영진 중 한명인 얀 레이케가 경쟁사인 앤트로픽에 합류했다.

28일(현지시간) 테크크런치 등 외신에 따르면 얀 레이케는 앤트로픽에서 인공지능(AI) 안전 관련 연구에 착수할 것이라고 X(전 트위터)를 통해 밝혔다.

얀 레이케는 확장 가능한 감독, 자동 정렬, 약-강 일반화 등을 연구할 예정인 것으로 알려졌다. 연구 결과는 앤트로픽의 자레드 카플란 최고과학책임자에게 직접 보고하게 된다. 

AI 안전 관련 연구를 진행 중인 얀 레이케가 오픈AI를 떠나 앤트로픽으로 옮겼다(이미지=X(전 트위터))

확장 가능한 감독은 예측 가능하고 바람직한 방식으로 대규모 AI의 동작을 제어하는 기술이다. 자동 정렬은 AI가 인간의 의도와 일치하도록 만들어 예상치 못한 부작용이나 해로운 행동을 최소화하는 방법이다.

약-강 일반화는 기계학습에서 모델이 제한된 또는 약한(weak) 학습 데이터를 강한(strong) 성능을 나타낼 수 있도록 개발하는 기술이다.

얀 레이케는 이전에 오픈AI에서 초정렬(superalignment)팀의 공동리더를 맡아 팀을 이끌어왔다. 이 팀은 장기적인 AI 기술 개발에 따른 위협을 분석하고 인간의 안전을 확보하는 것을 목표로 했다.

하지만 오픈AI가 점차 상업적 이익에 집중하며 안전에 대한 연구가 어려움을 겪자 이를 비판하고 사임했다.

그는 사임 전 "지난 몇달 동안 컴퓨팅 지원을 받지 못하는 등 중요한 연구를 수행하는 것이 점점 더 어려워졌다”며 “그동안 안전 문화와 프로세스는 제품보다 뒷전으로 밀려났다"라고 X를 통해 지적했다.