AI로 조교들 쉬게 만든다...손글씨도 채점하고 피드백도 주는 AI 채점 인기

30만 학생 답안 채점한 AI 플랫폼, 20개 대학에서 실전 활용

펜시브(Pensieve)라는 이름의 AI 채점 플랫폼이 미국 대학가에서 조용한 혁명을 일으키고 있다. 이 시스템은 이미 20개 이상의 교육기관에서 30만 건 이상의 학생 답안을 채점했으며, 특히 손글씨로 작성된 수학, 물리학, 화학, 컴퓨터과학 답안을 정확하게 평가할 수 있는 능력을 보여주고 있다.

대형 언어모델(LLM)을 기반으로 한 이 플랫폼은 단순히 점수만 매기는 것이 아니라 학생의 손글씨를 텍스트로 변환하고, 채점 기준을 자동으로 생성하며, 개별 피드백까지 제공한다. 더 놀라운 것은 교수들이 기존에 사용하던 채점 방식과 95.4%의 일치율을 보이면서도 채점 시간을 평균 65% 단축시켰다는 점이다.

악필도 OK... AI가 수학 기호까지 완벽 인식

전통적으로 손글씨 인식 기술은 복잡한 수학 기호나 물리학 공식에서 한계를 보였다. 특히 √3/2와 3/√2 같은 미묘한 차이를 구분하지 못해 오답으로 처리하는 경우가 빈번했다. 하지만 펜시브는 멀티모달 대형 언어모델을 활용해 이런 문제를 상당 부분 해결했다.

시스템은 스캔된 답안지에서 학생의 손글씨를 자동으로 텍스트로 변환하고, 각 변환 결과에 대해 신뢰도 수준을 표시한다. 신뢰도가 낮은 경우 교수가 직접 확인할 수 있도록 알려주어 정확성을 보장한다. 심지어 학생이 답안지에 적은 이름을 인식해 자동으로 학생과 매칭하는 기능까지 제공한다.

이미지 출처: Pensieve Grader: An AI-Powered, Ready-to-Use Platform for Effortless Handwritten STEM Grading

채점 기준도 AI가 자동 생성... 교수 스타일 학습까지

펜시브의 가장 혁신적인 기능 중 하나는 채점 기준(루브릭)을 자동으로 생성하고 지속적으로 개선하는 능력이다. 교수가 문제와 모범답안을 입력하면 AI가 초기 채점 기준을 만들고, 실제 채점 과정에서 교수의 수정사항을 학습해 점차 개인화된 채점 스타일을 익힌다.

특히 주목할 점은 '채점 지혜(Grading Wisdom)'라는 기능이다. 교수가 AI의 초기 채점 결과를 수정할 때마다 시스템이 그 차이점을 분석해 구체적인 채점 지침을 생성한다. 예를 들어 "설명 부족"이라는 모호한 기준을 "학생이 추가된 2가 다른 거듭제곱들과 구별된다고 주장하지 못한 경우에만 적용"과 같이 구체화한다.

컴퓨터과학 67.8%, 수학 25.2%... 과목별 활용도 차이 뚜렷

실제 사용 데이터를 보면 컴퓨터과학이 전체 사용량의 67.8%를 차지해 압도적 1위를 기록했다. 이는 코드 기반 답안의 구조적 특성과 손글씨 전사 필요성이 적기 때문으로 분석된다. 수학이 25.2%, 물리학이 6.7%로 뒤를 이었다.

흥미롭게도 화학과 생물학의 활용도는 상대적으로 낮았는데, 이는 해당 과목들이 주로 객관식이나 단답형 문제를 활용하기 때문이다. 하지만 수학과 물리학에서도 상당한 활용도를 보인 것은 AI가 기호가 많고 복잡한 다단계 문제도 효과적으로 처리할 수 있음을 보여준다.

시험 기간에 사용량 급증... 고부담 평가에서 위력 발휘

사용 패턴 분석 결과, 중간고사와 기말고사 기간에 사용량이 급격히 증가하는 것으로 나타났다. 이는 교수들이 특히 고부담 평가에서 채점 시간 단축과 빠른 피드백 제공을 위해 이 시스템을 활용하고 있음을 의미한다.

대규모 강의에서 효과는 더욱 두드러진다. 200-300명 수강생이 있는 강의에서는 과제당 수십 시간의 채점 시간을 절약할 수 있어, 교수들이 학생 상담이나 수업 개선 등 더 중요한 활동에 집중할 수 있게 된다.

FAQ

Q: AI 채점 시스템이 손글씨를 제대로 인식할 수 있나요?

A: 펜시브는 멀티모달 대형 언어모델을 사용해 복잡한 수학 기호와 물리학 공식까지 정확하게 인식합니다. 신뢰도가 낮은 경우 교수가 직접 확인할 수 있도록 표시해 정확성을 보장합니다.

Q: AI가 교수의 채점 스타일을 학습할 수 있나요?

A: 네, 펜시브는 교수의 수정사항을 분석해 개인화된 '채점 지혜'를 생성합니다. 시간이 지날수록 각 교수의 채점 기준과 스타일을 더 정확하게 반영하게 됩니다.

Q: 어떤 과목에서 가장 효과적인가요?

A: 현재 컴퓨터과학에서 가장 많이 활용되고 있으며, 수학과 물리학에서도 상당한 효과를 보이고 있습니다. 손글씨 문제 해결과 복잡한 기호 인식이 필요한 STEM 과목에서 특히 유용합니다.

■ 이 기사는 AI 전문 매체 ‘AI 매터스’와 제휴를 통해 제공됩니다. 기사는 클로드 3.5 소네트와 챗GPT를 활용해 작성되었습니다. (☞ 기사 원문 바로가기)