"챗GPT-5.2 이미지 가역성, 사람 절반 수준"

GIST, C3-벤치 개발 AI 정확성 등 평가해보니…"문장 자연스러움은 더 우수"

인공지능(AI)이 제대로 답을 찾았는지를 평가하는 벤치마크가 개발됐다. 챗 GPT를 사람과 비교했을 때 가역성(역으로 뒤집어 보는) 평가에서는 절반 수준에 불과한 것으로 나타났다.

광주과학기술원(GIST)은 김의환 AI학과 교수 연구팀이 두 장의 이미지를 비교해 인공지능(AI)이 주어진 상황에 맞는 중요한 변화를 찾아 정확하게 설명하는지 확인할 수 있는 새로운 평가 기준 ‘C3-벤치(문맥 인식 변화 설명 평가체계)’를 개발, 시험한 결과를 14일 공개했다.

C3-벤치 개요(위)와 GPT-5.2 대표 오류사례.(그림=GIST)

'C3-벤치'는 두 장의 이미지 비교에서 ‘무엇을 살펴볼 것인지’를 제시하고, AI가 그 목적에 맞는 변화를 골라 설명하는지 확인하는 일종의 ‘AI 변화 이해력 시험’이다.

예를들어 같은 철도 사진 두 장이라도 날씨 변화를 살피는 상황에서는 눈이 쌓이거나 구름이 줄어든 것이 중요한 변화가 될 수 있다. 반면 철도 안전을 확인하는 상황에서는 선로에 새로 나타난 열차가 핵심적인 변화이고, 날씨 차이는 중요하지 않을 수 있다.

그러나 기존 평가용 데이터는 특정 장면이나 변화에 집중돼 있거나, 각 상황에서 어떤 변화를 중요하게 봐야 하는지가 명확하게 정해져 있지 않은 경우가 많다.

연구팀은 이러한 한계를 보완하기 위해 ▲자연 장면 ▲위성·항공 등 원격탐사 영상 ▲이미지 편집 ▲이상 탐지 등 4개 분야에서 51개의 현실적인 변화 상황을 선정하고, 사람이 변화 내용을 직접 설명한 4,996개의 이미지 쌍으로 'C3-벤치'를 구성했다.

논문 제1저자인 김재우 AI학과 석·박사통합과정생은 "각 상황마다 AI가 ‘찾아야 할 변화’와 ‘무시해야 할 차이’, ‘변화를 설명할 때 지켜야 할 기준’을 구체적으로 정했다"고 설명했다.

연구팀은 AI가 내놓은 답을 평가하는 방식도 기존과 달리했다. 정답 문장과 같은 단어가 얼마나 포함됐는지만 비교하는 대신, ▲내용이 정확한지 ▲변화를 구체적으로 설명했는지 ▲문장이 자연스러운지 ▲주어진 상황에 맞는 내용인지를 함께 살펴 답변의 의미를 종합적으로 평가했다.

400개의 이미지 쌍을 대상으로 사람과 GPT-5.2가 각각 이미지 속 변화를 설명하도록 하고, 답변의 정확성·구체성·자연스러움·상황 관련성을 비교한 결과  4개 항목을 종합한 10점 만점 점수는 사람이 7.45점, GPT-5.2가 5.72점으로 1.73점의 차이를 보였다.

GIST 연구팀. 왼쪽부터 김의환 AI학과 교수, 김재우 석·박사통합과정생.(사딘=GIST)

반면 문장의 자연스러움만 놓고 보면 GPT-5.2가 8.53점으로 사람(8.32점)보다 오히려 높았다.

김재우 석·박사통합과정생은 "AI가 사람이 쓴 글에 가까운 자연스러운 문장을 만드는 능력과 실제 이미지에서 중요한 변화를 정확하게 찾아내는 능력이 반드시 같은 것은 아님을 보여준다"고 부연 설명했다.

연구팀은 또 이미지의 순서를 바꿨을 때도 같은 변화를 앞뒤에 맞게 설명하는지를 확인했다. 예를 들어 첫 번째 사진에서 “물체가 새로 생겼다”고 설명했다면, 사진의 순서를 뒤집었을 때는 같은 물체가 “사라졌다”고 설명해야 한다.

연구팀은 이러한 능력을 ‘가역성’으로 평가했다. 그 결과 사람은 93%의 가역성 점수를 보인 반면 GPT-5.2는 61%에 그쳤다. 이는 최신 AI가 자연스러운 문장을 만드는 데는 뛰어나지만, 사진 속 변화의 방향까지 일관되게 이해하는 데는 여전히 한계가 있음을 보여준다.

한편 연구결과는 지난 12일까지 스웨덴 말뫼에서 열린 국제학술대회 ‘ECCV 2026’에 채택됐다. 'ECCV'는 유럽컴퓨터비전협회(ECVA)가 주관하는 컴퓨터비전·머신러닝 분야의 주요 국제학술대회다.