[김기응의 AI 롱호라이즌] 지능의 다음 관문, 대화가 아니라 결정이다

김기응 국가 AI 연구거점 센터장 겸 KAIST 김재철AI대학원 교수는 지난 30여 년간 긴 시간축 위에서 결정을 이어 가며 목표에 다가가는 지능을 연구해 왔다. 롱호라이즌(long-horizon)은 강화학습 분야에서 AI가 얼마나 멀리 내다보고 결정하는가를 가리키는 용어이자, 이 칼럼이 AI를 보는 시야의 길이다. 이 시리즈는 연구 최전선에서 기술·시장·정책·인재를 가로지르는 질문을 매달 하나씩 던지며 1년간 이어진다. [편집자주]

1950년대 초 미국 랜드연구소의 수학자 리처드 벨만은 자기 연구에 '동적계획법(dynamic programming)'이라는 이름을 붙였다. 엄연한 수학 연구였지만 이름에는 수학의 흔적이 없다.

훗날 그는 공군의 지원으로 움직이던 연구소에서 수학을 한다는 티를 내지 않으려고, 실용적인 '계획'처럼 들리면서 누구도 트집 잡기 어려운 이름을 일부러 골랐다고 회고했다. 오늘날 컴퓨터과학을 배우는 학생이라면 누구나 한 번은 거쳐 가는 바로 그 동적계획법이다.

김기응 국가 AI 연구거점 센터장

이름 아래 감춰진 질문은 만만치 않다. 지금 내린 결정이 다음 상황을 바꾸고, 바뀐 상황에서 다시 결정을 내려야 한다면, 지금 무엇을 해야 하는가. 벨만의 답은 결정 하나하나를 그 자체로 따지지 말고 그 결정이 데려다 놓을 상황의 '가치'로 따지라는 것이었다.

바둑 기사가 당장 돌 몇 점을 따내는 수보다 판 전체의 형세를 보고 수를 고르는 것과 같은 이치다. 앞으로 이어질 모든 선택을 지금의 판단 안에 접어 넣는 이 발상은 오늘날 강화학습의 뼈대가 됐다. 필자가 30여 년 붙들어 온 것도 이 질문이다.

비슷한 무렵 앨런 튜링은 다른 질문을 던졌다. 기계가 사람처럼 대화할 수 있는가. '기계가 생각할 수 있는가'라는 막연한 물음을 누구나 확인할 수 있는 시험으로 바꾼 것이다. 76년이 지난 지금 이 질문은 사실상 답을 얻었다. 최근 한 연구에서 사람처럼 행동하라는 지시를 받은 언어모델은 5분간의 대화 끝에 열에 일곱 번꼴로 사람과 구분이 안 됐다. 오히려 함께 대화에 참여한 진짜 사람이 AI로 오인되는 경우가 더 많았다.

사람처럼 대화하는 AI의 시대는 왔지만, 벨만의 질문은 아직 열려 있다. 그리고 지금 'AI 에이전트'라는 새 이름을 달고 산업의 한가운데로 돌아왔다. 에이전트는 대답을 내놓는 데서 멈추지 않고 그 대답을 행동으로 옮긴다. 오늘의 에이전트는 일상에서 일정을 잡고 결제까지 마칠 뿐 아니라, 오래된 수학 난제를 풀고 과학자의 연구를 거드는 데까지 나아갔다. 이런 일에 필요한 것은 그럴듯한 대답 하나가 아니라 결과가 한참 뒤에야 드러나는 결정을 줄줄이 이어 가는 능력이다.

대화와 결정은 채점 방식부터 다르다. 대답은 내놓는 순간 평가받는다. 마음에 들지 않으면 다시 물으면 그만이다. 결정은 그 뒤에 무엇이 이어지느냐로 평가받는다. 첫날 고른 거래처 하나, 무심코 덮어쓴 파일 하나가 사흘 뒤 일 전체를 막다른 골목으로 몰아넣는다. 게다가 에이전트가 다음에 마주할 상황은 누군가 건네주는 것이 아니라 자신이 앞서 한 행동이 만든 것이다.

AI의 능력을 재는 잣대도 이쪽으로 옮겨 가고 있다. 미국의 비영리 평가기관 METR은 AI가 '얼마나 긴 일'을 해낼 수 있는지를 잰다. 사람 전문가가 끝내는 데 걸리는 시간으로 과제의 길이를 매기고, AI가 일정 확률로 성공하는 과제의 길이를 추정한다. 말하자면 AI의 호라이즌을 재는 셈이다.

올해 5월 보고서에서 가장 앞선 비공개 평가 모델은 사람이 3~4시간 걸려 끝내는 과제를 80%의 확률로 해내는 것으로 추정됐다. 그러나 16시간이 넘는 과제에서는 성공 확률이 50%로 뚝 떨어진다. 긴 과제의 표본이 적어 오차가 크다는 단서가 붙지만 메시지는 분명하다. 할 수 있는 일과 맡길 수 있는 일은 아직 다르다.

그 차이는 간단한 산수로도 보인다. 단계마다 95%의 확률로 옳게 판단하는 에이전트라도 실수를 바로잡지 못하면 열 단계를 모두 해낼 확률은 약 60%, 스무 단계면 36%로 떨어진다. 거꾸로 말하면, 틀린 걸음을 바로잡을 수만 있다면 같은 95%로도 결과는 전혀 달라진다. 긴 일을 끝내는 힘은 한 걸음의 정확도 못지않게 틀린 걸음을 알아채고 되돌아오는 능력에서 나온다. 사람도 그렇다. 긴 프로젝트를 끝까지 해내는 사람은 실수하지 않는 사람이 아니라 실수를 일찍 알아차리는 사람이다.

벨만의 말로 하면 이것은 '가치'를 아는 문제다. 내비게이션은 차가 경로를 벗어나는 순간 이를 알아채고 길을 다시 찾는다. 긴 일을 맡은 에이전트에게도 이런 감각이 필요하다. 지금 목표에 얼마나 가까워졌는지, 이 길이 여전히 맞는지를 일하는 도중에 스스로 가늠하는 감각이다. 강화학습 덕분에 오늘의 AI는 긴 추론을 이어 가고 도구를 다루며 여러 단계의 일을 끝까지 해내는 데까지 왔다. 그 바탕에도 이 감각이 있고, 더 긴 일을 믿고 맡기려면 이 감각이 더 단단해져야 한다. 이 감각이 무디면 에이전트는 길을 잃은 줄도 모르고 자신 있게 걸어간다.

원하는 바를 제대로 정하는 일도 간단치 않다. 에이전트는 우리가 바라는 것이 아니라 우리가 측정하는 것을 향해 움직인다. 사람도 실적 지표에 맞춰 일하다 본래 목적을 놓치곤 하지만, 에이전트는 그 지표를 훨씬 집요하게 파고든다. 테스트를 통과시키라는 지시를 받은 코딩 에이전트가 코드를 고치는 대신 테스트를 고쳐 버린 사례가 실제로 보고된다. 내비게이션에 빗대면, 길을 찾는 대신 GPS 신호를 가로채 아직 가는 중인 운전자에게 이미 목적지에 도착했다고 속이는 격이다. 측정치가 목적을 온전히 담지 못하면 더 뛰어난 최적화는 더 교묘한 엇나감으로 이어질 뿐이다.

측정치가 원하는 바를 온전히 담는다 해도 에이전트는 세상을 다 보지 못한 채 결정한다. 고객의 속뜻이 무엇인지, 외부 시스템이 지금 어떤 상태인지, 방금 보낸 요청이 제대로 처리됐는지를 다 알지 못한다. '다음 주 회의를 잡아 달라'는 부탁 하나에도 누구를 꼭 불러야 하는지, 어떤 시간대는 피해야 하는지 같은 정보가 빠져 있기 일쑤다.

이런 세계에서는 자신이 무엇을 모르는지 아는 것이 무엇보다 중요하고, 확인하고 묻는 일은 그 자체로 하나의 결정이 된다. 너무 자주 물으면 맡긴 의미가 없고, 묻지 않으면 모르는 채로 일을 그르친다. 좋은 에이전트는 모든 일을 혼자 해치우는 에이전트가 아니라 언제 멈추고 사람에게 물어야 하는지 아는 에이전트다.

되돌릴 수 없는 행동은 이 모든 문제를 무겁게 만든다. 더 나은 길을 찾으려면 안 가 본 길도 가 봐야 하지만, 현실에는 시험 삼아 해 볼 수 없는 일이 있다. 초안은 지우면 그만이지만 이미 보낸 메일과 이미 실행된 송금은 돌아오지 않는다. 실수의 대가가 큰 일일수록 새로운 시도는 줄이고 확인은 늘려야 한다. 사람은 이럴 때 본능적으로 멈칫하지만, 에이전트에게는 멈춰 설 지점까지 설계해 넣어야 한다. 탐색과 신중함 사이의 이 줄다리기는 강화학습이 수십 년 붙들어 온 주제이고, 이제는 기업의 업무 시스템 안에서 매일 벌어지는 일이 됐다.

그래서 에이전트를 들이려는 조직이 던져야 할 질문도 달라진다. 지금까지는 AI가 얼마나 정확한 답을 내놓는지, 얼마나 빨리 일을 처리하는지를 따졌다. 여러 단계를 스스로 밟는 에이전트라면 그것만으로는 부족하다. 중간 판단이 어긋났을 때 곧바로 알아차릴 수 있는지, 잘못된 선택을 되돌릴 수 있는지, 되돌릴 수 없는 행동 앞에서는 한 번 더 확인하는 절차가 있는지를 물어야 한다. 무엇보다 성과를 무엇으로 정의했는지, 그 숫자가 우리가 정말 원하는 것을 담고 있는지부터 점검해야 한다. 에이전트는 그 숫자를 우리보다 훨씬 성실하게 좇을 것이기 때문이다.