AI가 쓴 글과 사람 글, 98.5% 정확도로 구분...어떻게?

텍사스 A&M 대학교 연구팀이 발표한 연구에 따르면, 설명가능한 AI(XAI) 기술을 활용해 챗GPT나 클로드 등 AI 언어모델이 생성한 텍스트를 높은 정확도로 식별해낼 수 있게 되었다. 연구진은 2023년 11월에 600개의 텍스트 샘플을 수집하여 분석을 진행했다.

AI가 쓴 글과 사람이 쓴 글 98.5% 구분하는 기술 공개

연구진은 인공지능 대형언어모델(LLM)이 생성한 텍스트와 사람이 작성한 텍스트를 구분하는 데 머신러닝과 딥러닝 알고리즘을 활용했다. 랜덤 포레스트(Random Forest)와 순환신경망(RNN) 등의 기술을 적용한 결과, 이진 분류에서 98.5%의 높은 정확도를 달성했다. 이는 기존의 AI 텍스트 탐지 도구인 GPT제로(GPTZero)의 78.3% 정확도를 크게 앞지른 수준이다. 특히 GPT제로가 전체 샘플의 4.2%를 식별하지 못한 반면, 새로운 모델은 모든 테스트 데이터셋을 성공적으로 분석했다.

다양한 AI 도구별 특징 파악하는 데 성공

연구팀은 챗GPT, 라마(LLaMA), 구글 바드(Google Bard), 클로드, 퍼플렉시티(Perplexity) 등 5개 주요 AI 언어모델이 생성한 텍스트를 각각 구분하는 데도 성공했다. 데이터 전처리와 TF-IDF 벡터화 기법을 활용한 다중 분류에서 랜덤 포레스트는 97%의 정확도와 93%의 정밀도, 94%의 재현율을 기록했다. XGBoost는 94%의 정확도와 90%의 정밀도 및 재현율을 보였으며, RNN은 88%의 정확도, 90%의 정밀도, 72%의 재현율을 달성했다.

특히 RNN의 경우 'claude' 클래스에서는 12.5%의 진양성률을 보여 'human', 'chatgpt', 'bard' 클래스와의 구분에 어려움을 겪었고, 'llama' 클래스에서는 62.5%의 진양성률을 보여 'human', 'chatgpt', 'perplexity' 클래스와의 구분에 한계를 드러냈다.

AI별(바드, 챗GPT, 클로드, 라마, 퍼플렉시티) 텍스트 특징 분석

연구진은 LIME(Local Interpretable Model-agnostic Explanations) 기술을 활용해 각 AI 도구별로 독특한 텍스트 생성 패턴을 발견했다.

구글 바드는 '초점', '운송', '투표', '자동차', '범위', '보장', '우려', '시스템' 등 체계적이고 구조적인 요소와 관련된 단어를 자주 사용했다.

챗GPT는 '좋은', '찾기', '수용', '고려', '신뢰', '시민', '도시', '제한', '편지', '사용' 등 질적 평가와 실용적 적용을 혼합한 표현을 특징적으로 사용했다.

클로드는 '도시', '국가', '과도한', '사람들', '감사합니다', '진심으로', '투표', '합리적', '부탁 드립니다' 등 공손하고 시민 참여적인 표현을 주로 사용했다.

라마는 '선거', '사용', '과정', '평등', '제한', '의견', '대안', '또한', '보장', '진심으로' 등 절차적이고 민주적인 요소를 강조하는 단어를 사용했다.

퍼플렉시티는 '감소', '시스템', '압력', '보장', '도움', '운전', '덜', '상원의원', '개인', '친애하는' 등 효율성과 개인적 중요성을 강조하는 단어를 특징적으로 사용했다.

반면 사람이 작성한 텍스트는 '하다', '것', '많은', '말하다', '방법', '얻다', '가다', '사람들', '아니다' 등 일상적인 동사와 대명사를 자주 사용하는 것으로 나타났다. 이러한 단어 사용 패턴은 실제 인간의 자연스러운 의사소통 방식을 반영하는 것으로 분석되었다.