AI가 학생 글쓰기 첨삭했더니...6명 중 5명 실력 향상

GPT로 3500만 토큰 학습했더니 사람보다 나은 피드백 제공

일리노이 어바나-샴페인 대학교 연구진이 발표한 사례 연구에 따르면, CGScholar AI Helper를 활용한 인공지능 피드백이 11학년 학생들의 글쓰기 능력 향상에 긍정적인 영향을 미친 것으로 나타났다.

2000년부터 빌 코프와 메리 칼란치스가 이끄는 연구팀은 온라인 학습 환경을 개발해왔으며, 2023년 초 오픈AI의 GPT 시리즈를 기반으로 한 AI 리뷰 컴포넌트를 CGScholar 플랫폼에 통합했다. 특히 2024년에는 지난 5년간의 대학원생과 강사들의 모든 작업을 포함한 3500만 토큰 규모의 벡터 데이터베이스를 구축했고, 그 결과 학생들은 AI 리뷰가 동료 리뷰보다 더 우수하다고 평가했다.

저소득층 학교에서 진행된 혁신적인 AI 교육 실험

이번 연구는 미국 중서부의 한 저소득층 공립학교에서 진행되었다. 총 824명이 재학 중인 이 학교는 백인 35%, 히스패닉 30%, 흑인 24%로 구성되어 있으며, 9학년 233명, 10학년 235명, 11학년 184명, 12학년 175명이 재학 중이다. 교사 대 학생 비율은 1:13이며, 전체 중퇴율은 2.8%로 특히 히스패닉 학생들 사이에서 높게 나타났다. 연구에는 교육학 석사학위를 2개 보유하고 박사과정을 진행 중인 열정적인 영어 교사 1명과 그의 23명의 학생 중 자발적으로 참여를 희망한 6명의 학생이 참여했다.

교사의 기준에 맞춘 AI 피드백…CGScholar의 차별화된 접근

CGScholar AI Helper는 6가지 평가 기준을 바탕으로 피드백을 제공했다. 평가 기준은 '비교와 대조', '식별', '작문', '소개와 연결', '증거 지원', '분석'으로 구성되었으며, 각각 0-4점 척도의 별점과 상세한 텍스트 피드백을 제공했다. 학생들은 "거북이 등 위의 세계"와 "세 자매들의 원주민 농장 귀환" 두 텍스트에서 자연, 균형, 전통이라는 원주민의 가치가 현재까지 어떻게 이어지고 있는지 분석하는 200단어 분량의 과제를 수행했다.

0점에서 2점까지…학생들의 놀라운 실력 향상

평가 결과를 보면, '비교와 대조' 부문에서 3명의 학생이 점수가 향상되었는데, 2명은 1점에서 2점으로, 1명은 0점에서 2점이라는 큰 폭의 향상을 보였다. '작문'과 '분석' 부문에서는 각각 2명의 학생이 2점에서 3점으로 향상되었으며, '소개와 연결' 부문에서는 1명이 2점에서 3점으로 향상되었다. 한 예로, 처음에는 비교 분석을 전혀 하지 못했던 학생이 AI의 피드백을 받은 후 두 텍스트의 전통과 자연에 대한 공통된 가치를 성공적으로 찾아내어 분석했다.

교실에서의 AI는 통제되어야 한다…연구진의 제언

연구진은 "생성형 AI는 교육 맥락에서 중재되지 않은 채 사용되기에 적합하지 않다"고 강조했다. 이를 위해 프롬프트 엔지니어링과 교사의 평가 기준을 통한 정교화라는 두 가지 방식으로 AI를 재보정했다. 연구진은 이런 접근이 학생들이 단순히 AI에 의존하는 것이 아닌, AI와 상호작용하며 의미 패턴을 인식하고 문법 기술을 습득하는 '사이버-소셜 리터러시 학습'을 가능하게 한다고 설명했다.

학생들의 의견 반영한 시스템 개선

초기 구현 이후 학생들은 AI 피드백이 너무 길고 언어가 복잡하다는 의견을 제시했다. 이에 연구팀은 각각의 피드백 아래에 채팅창을 추가하여 학생들이 긴 피드백을 요약하거나 복잡한 용어에 대해 질문할 수 있도록 했다. 향후에는 교사나 학생이 선호하는 피드백의 길이를 직접 설정할 수 있는 기능도 추가될 예정이다. 이 연구는 K-12 교육에서 AI 기반 도구의 영향을 조사한 최초의 중재 기반 실증 연구 중 하나로서, AI가 포용적이고 공평한 학습을 촉진할 수 있는 가능성을 보여주었다.

AI 글쓰기 도구의 현황과 가능성

최근 교육 현장에서 그래머리(Grammarly), 챗GPT(ChatGPT), 퀼봇(QuillBot) 등 AI 기반 글쓰기 도구들이 주목받고 있다. 송(Song) 등의 2023년 연구에 따르면, 그래머리와 같은 도구들은 문법과 구조를 개선하는 적응형 피드백을 제공하며, 마르주키(Marzuki) 등의 2024년 연구는 이러한 도구들이 학생들의 고차원적 글쓰기 능력 향상에 도움을 준다고 밝혔다. 마하파트라(Mahapatra)의 2024년 연구에서는 AI 도구들이 즉각적인 피드백을 통해 학생들의 글쓰기 참여도를 높인다는 점이 확인되었다.

전문가들의 우려와 제언