"너는 OO 전문가야"...AI 페르소나 프롬프팅, 효과 있을까?

"글쓰기 품질은 개선되지만, 코딩·수학 정확도는 저하"

인공지능(AI)에게 특정 분야의 전문가라는 역할을 부여하는 '페르소나 프롬프팅'이 실제로는 코딩이나 수학처럼 정밀한 지식이 필요한 작업에서 오히려 AI의 정확도를 떨어뜨린다는 연구 결과가 나왔다.

최근 AI 사용자들 사이에서는 지시어(프롬프트)를 입력할 때 "당신은 이 분야의 숙련된 전문가입니다"라는 문구를 추가하면 성능이 향상된다는 설이 상식처럼 통용돼 왔다. 

하지만 남가주 대학교(USC) 지자오 후 연구팀이 최근 프리프린트 서버 'arXiv'에 게재한 논문에 따르면, 이런 방식은 분야에 따라 득보다 실이 많을 수 있는 것으로 나타났다. 이 내용은 레지스터닷컴·기가진 등 외신을 통해 보도됐다.

AI에게 특정 분야의 전문가라는 역할을 부여하는 '페르소나 프롬프팅'이 실제로는 코딩이나 수학처럼 정밀한 지식이 필요한 작업에서 오히려 AI의 정확도를 떨어뜨린다는 연구 결과가 나왔다.(제공=클립아트코리아)

'전문가인 척' 하느라 전문 지식 놓치는 AI

외신에 따르면, 연구팀은 'Llama-3.1-8B'와 'Qwen 2.5-7B' 등 6종의 AI 모델을 대상으로 실험을 진행했다. AI에게 단순히 "당신은 소프트웨어 엔지니어입니다"라고 짧게 지시하거나, 혹은 전문 지식과 경험이 풍부하다는 식의 복잡한 페르소나를 부여한 뒤 성능을 측정했다.

실험 결과, 여러 차례의 대화를 통해 품질을 평가하는 'MT-Bench' 테스트에서는 글쓰기나 추론 분야의 출력 품질이 향상되는 긍정적인 효과가 나타났다. 특히 AI가 인간의 윤리관에 어긋나는 답변을 하지 않도록 하는 'AI 얼라인먼트(정렬)' 측면과 보안 취약점을 이용한 공격(Jailbreak) 방어력은 크게 개선됐다.

반면, 실제 정답률이 중요한 코딩·수학·인문과학 분야에서는 오히려 품질이 하락했다. 광범위한 지식 측정 지표인 'MMLU' 벤치마크에서도 "당신은 전문가입니다"라고 지시했을 때 전체적인 정확도가 눈에 띄게 떨어졌다.

 "역할 수행에 능력 낭비... 구체적 요구사항 전달이 효과적"

특정 분야 업무에선 페르소나 부여보다, 프로젝트 요건과 요구사항을 상세하게 전달하는 것이 사용자가 원하는 결과물을 얻는 데 효과적일 수 있다.(이미지=챗GPT 캡처)

연구팀은 이러한 현상의 원인을 AI의 자원 배분 문제로 분석했다. AI에게 전문가 역할을 부여한다고 해서 없던 전문 지식이 실제로 생겨나는 것은 아니다. 오히려 AI가 '전문가처럼 보이게 답변하는 것(지시 추종)'에 능력을 집중하느라, 정작 사실을 기억해내고 계산하는 데 써야 할 능력을 소진하게 된다는 설명이다.

연구를 주도한 후 씨는 "AI에게 '당신은 숙련된 프로그래머'라고 말하는 것은 코드의 품질을 높이는 데 도움이 되지 않는다"며 "오히려 프로젝트 요건과 요구사항을 상세하게 전달하는 것이 사용자가 원하는 결과물을 얻는 데 훨씬 효과적"이라고 조언했다.