딥러닝 대가가 '그록3' 평가했더니…제미나이·클로드 못푸는 문제도 해결

안드레이 카파시(Andrej Karpathy) 유레카랩스(Eureka Labs) AI 연구원이자 테슬라(Tesla) 전 AI 디렉터가 엑스AI의 최신 생성형 AI인 그록3의 초기 테스트 결과를 공개했다. 18일(현지 시간) 카파시 X계정에 공개된 내용에 따르면, 그록3은 기존 생성형 AI 모델이 해결하지 못한 까다로운 문제들을 깔끔하게 풀어냈다고 밝혔다. (☞ 카파시 X 바로가기)

그록3의 가장 큰 특징은 '싱킹' 모드다. 카파시는 GPT-2 논문의 학습 플롭스(FLOPs) 계산 문제를 예시로 들었다. 이는 텍스트 용량, 토큰 수, 매개변수를 복합적으로 고려해야 하는 고난도 문제다. 그록3은 싱킹 모드를 통해 이를 정확하게 풀어냈다.

보드게임 '카탄의 개척자' 웹페이지 설계 문제에서도 그록3은 뛰어난 성과를 보였다. 이는 오픈AI의 최상위 모델(o1-pro)만이 해결할 수 있는 수준의 과제다. 딥시크(DeepSeek-R1), 제미니 2.0(Gemini 2.0), 클로드 등 다른 주요 AI 모델들은 해결하지 못했다.

그록3은 '딥서치' 기능을 통해 인터넷 정보를 검색하고 분석할 수 있다. 애플 신제품 출시, 팔란티어(Palantir) 주가 급등 원인, 화이트 로터스(White Lotus) 시즌3 촬영지 등 최신 이슈에 대해 정확한 답변을 제공했다. 하지만 X 플랫폼을 출처로 인용하기 꺼려하거나, 존재하지 않는 URL을 인용하는 등의 한계도 드러냈다.

카파시는 "그록3은 오픈AI의 최고급 모델과 비슷한 수준의 성능을 보여준다"며 "1년 만에 이런 수준에 도달한 것은 전례 없는 성과"라고 평가했다. 다만 "더 많은 평가가 필요하다"고 덧붙였다.

■ 기사는 클로드 3.5 소네트와 챗GPT-4o를 활용해 작성되었습니다. (☞ 기사 원문 바로가기)