챗GPT가 미국 로스쿨 시험과 MBA 교과목 시험을 치른 연구 결과가 최근 잇달아 발표됐다고 IT매체 엔가젯이 26일(현지시간) 보도했다.
이번 주 발표된 ‘챗GPT, 로스쿨 간다'라는 논문에서 미국 미네소타 대학 로스쿨 교수들이 이끄는 연구진은 챗GPT가 학교의 4개 과정 대학원 시험을 응시하도록 했다.
챗GPT는 95개의 객관식 문항과 12개의 에세이 작성으로 구성된 4개 테스트 모두 통과했지만, 평균 등급은 C+로 비교적 낮은 편이었다.
연구진은 챗GPT가 기본적인 법률 규칙을 파악하고 요약하는 데 능숙하지만, 사건과 관련된 문제를 정확히 지적하려고 할 때 허둥지둥했다고 지적했다. 또, 고급 프로세스 질문을 처리하는 데 미숙했고, 특히 6학년 수준의 수학 문제에서도 실수를 했다고 밝혔다.
연구진들은 이번 연구에서 챗GPT에 특정 과정이나 질문에 텍스트 생성 프롬프트를 적용하는 과정을 거치지지 않았기 때문에 AI보다 일반 학생들이 더 나은 결과를 얻을 수 있다고 밝히며 개선의 여지가 있다며 가능성을 열어뒀다.
또, 시험을 치르는 법대생이나 변호사 과정을 훈련하는 데 매우 유용할 것으로 기대한다고 덧붙였다.
관련기사
- "챗GPT, 하루 이용자 1천만명 넘어섰다"2023.01.26
- "챗GPT 접목된 최강 전문 챗봇 될 겁니다"2023.01.25
- 마이크로소프트, 오픈AI 추가 투자...GPT-3 독점 라이선스2023.01.25
- "GPT-3, 크기 60% 줄여도 성능은 그대로"2023.01.24
지난 17일 미국 펜실베이니아대학교 와튼스쿨의 맥 혁신경영연구소의 크리스천 터비시 교수는 ‘챗GPT가 와튼 MBA를 수료할 수 있을까’라는 논문을 통해 챗GPT가 와튼스쿨 MBA의 필수 교과목인 ‘운영관리’ 기말시험에 응시한 결과를 발표했다. 그 결과 챗GPT는 ‘B-’에서 ‘B’ 학점 사이를 받아 우수한 점수를 받았다.
와튼스쿨 연구진은 AI봇이 사람이 힌트를 주면 답변을 수정하는 데 능숙하다고 밝히며, 챗GPT 자체로 시험을 치거나 에세이를 직접 쓰지는 못할 수 있지만 시스템이 대략적인 답변을 생성하고 수정하도록 할 수 있다고 밝혔다.
