첨단 AI모델, 대학 작문시험 ‘C’ 맞았다

작성속도 뛰어나지만, 창의적인 글쓰기 능력 부족

인공지능(AI) 자연어처리모델(NLP) GPT-3가 대학 작문 시험에서 C를 기록했다. 높은 점수는 아니지만, 대학생 평균 점수를 달성했다.

미국 지디넷에 따르면 교육정보사이트인 에듀레프(EduRef)는 최근 GPT-3와 대학생 간의 작문 시험 테스트를 진행했다.

이번 테스트는 GPT-3의 실제 문서 작성 능력을 확인하기 위해 진행된 것이다. 진행 방식은 GPT-3와 졸업생 및 학부생이 주어진 내용에 따라 작문하는 방식으로 진행됐다.

AI 자연어처리모델 GPT-3가 대학 작문시업에서 평균점수 C를 기록했다(이미지=EduRef)

작문 주제는 미국 역사, 코로나19 백신 연구 방법, 문예 창작, 법률 등 서로 다른 4가지가 주어졌다.

보다 세밀한 평가를 위해 교수진은 익명 처리된 과제를 채점 후 지적사항까지 별도로 체크했다.

시험결과 GPT-3는 4개 과목에서 평균 C를 기록했다. 함께 시험을 치른 학생들과 비교했을 때 평균적인 수준이었다. 미국 역사 및 법률 부문에서 B-를 받았으며, 코로나19 연구 방법은 C를 기록했다. 문예 창작 분야는 F로 통과하지 못했다.

GPT-3 과제 결과물에 대한 교수진의 평가는 학생의 것과 거의 동일했다. 가장 많은 지적을 받은 문법 및 구문 부문에서 GPT-3는 전체 지적사항 중 49.2%를 차지했으며, 학생도 약 50%였다.

두 번째로 많은 지적을 받은 세부 내용 및 초점 역시 26.2%와 25.4%로 거의 동일한 수준이었다.

작성 속도면에서는 월등했다. 학생들은 한 과제를 제출하는데 평균적으로 3일이 걸린 반면, GPT-3는 20분만에 작성했다.

GPT-3의 과제를 채점한 교수진은 “사람의 간섭이 거의 없었음에도 GPT-3는 실제 학생과 거의 동일한 피드백을 받았다”며 “하지만 GPT-3의 글은 전개와 내용 전환이 훌륭하지만, 문장이 무뚝뚝하고 모호할 뿐 아니라 창의적인 글쓰기 부분은 많이 부족하다”고 평가했다.