문자 800만 개 던졌더니 내 말투로 답장이 왔다…GPT-5.6이 프롬프트 한 줄로 만든 언어모델

프롬프트 한 줄과 개인 문자 기록만으로 언어모델을 학습시킨 사례가 나왔다. 오픈AI가 개발자 뉴스레터 '스타트업 드롭'에서 소개한 피에트로 시라노 씨의 작업이다.

시라노 씨가 GPT-5.6 솔에 건넨 것은 프롬프트 하나와 자신의 아이메시지 보관 기록뿐이었다. 솔은 로컬에서 돌아가는 학습 파이프라인을 직접 만들고, 매개변수 138만 개짜리 4층 디코더 전용 트랜스포머를 토큰 800만 개로 학습시켰다. 그렇게 만들어진 모델은 시라노 씨의 글쓰기 방식대로 답장을 생성했다.

디코더 전용 트랜스포머는 앞의 내용을 보고 다음에 올 말을 이어 쓰는 구조로, 챗GPT를 비롯한 대화형 모델이 쓰는 방식과 같은 계열이다. 매개변수 138만 개는 상용 대형 모델과 비교하면 아주 작은 규모다.

GPT-5.6 솔은 오픈AI가 가장 어려운 코딩과 에이전트 작업용으로 내놓은 최상위 모델이다. 회사는 추론을 최대로 올린 조건에서 솔이 클로드 페이블 5보다 나은 성능을 내면서 출력 토큰은 54% 적게 쓴다고 밝혔다.

자세한 내용은 오픈AI 디벨로퍼스에서 확인할 수 있다.

이미지 출처: AI 생성