게임하고 로봇 움직이고…오픈AI가 보여준 '행동하는 AI'

게임 화면부터 브라우저까지 직접 조작…AI 에이전트 실제 업무로 확대

오픈AI 인공지능(AI)이 우주 비행 게임 화면을 살펴본 뒤 직접 우주선을 움직였다. 카메라를 단 작은 로봇은 주변을 보고 다음 행동을 골랐다. 질문에 답하거나 콘텐츠를 만드는 데 머물던 AI가 주변 상황을 파악하고 판단한 뒤 실제 행동까지 수행하기 시작했다.

오픈AI는 29일(현지시간) 미국 샌프란시스코에서 열린 개발자 행사 데브데이 2026에서 게임과 로봇, 컴퓨터를 직접 다루는 AI 기술을 잇따라 시연했다. GPT-6 아스트라의 컴퓨터 사용 능력과 빠르게 다음 행동을 고르는 디시전스 응용프로그램 인터페이스(API), 컴퓨터를 직접 조작하는 에이전트 API 등을 소개했다.

게임 시연에서는 GPT-6 아스트라가 우주 비행 게임 화면을 보고 직접 플레이했다. 화면에 표시된 순항과 추적, 조사 등 여러 기능을 확인한 뒤 필요한 행동을 선택해 우주선을 움직였다.

오픈AI는 GPT-6 아스트라의 컴퓨터 사용 능력을 보여주기 위해 우주 비행 게임 '아스트라 어드벤처스' 플레이를 시연했다. (사진=오픈AI 유튜브 캡처)

오픈AI는 이달 초 아스트라와 코덱스를 이용해 우주 탐험 게임 '보이드 익스플로러'를 개발한 사례도 공개했다. 당시에는 AI가 게임을 만드는 과정에 활용됐다면 이번 데브데이에서는 완성된 게임 화면을 직접 보고 조작하는 능력을 보여줬다.

로봇 시연에서는 화면 대신 카메라로 들어온 정보를 활용했다. 소형 로봇이 주변을 촬영하면 AI가 영상을 보고 현재 상황을 파악한 뒤 여러 행동 가운데 다음에 무엇을 할지 선택했다. 행사장 화면에는 로봇이 바라보는 장면도 실시간으로 표시됐다.

이때 활용할 수 있는 기술이 이날 공개한 디시전스 API다. 개발자가 AI에게 가능한 선택지를 미리 제시하면 AI가 현재 상황을 살펴본 뒤 그중 하나를 골라준다. 긴 문장으로 답을 만드는 대신 "지금 무엇을 해야 하는지" 빠르게 결정하는 데 초점을 맞췄다.

판단에 걸리는 시간도 짧다. 오픈AI는 GPT-6 루나를 이용한 디시전스 API가 1초가 채 걸리지 않는 시간 안에 선택 결과를 내놓을 수 있다고 설명했다. 이미지도 이해할 수 있어 카메라로 주변을 보는 로봇처럼 빠른 판단이 필요한 상황에도 활용할 수 있다.

오픈AI는 소형 로봇을 활용해 디시전스 API가 주변 상황을 파악하고 다음 행동을 선택하는 과정을 소개했다. (사진=오픈AI 유튜브 캡처)

쓰임새는 로봇에만 한정되지 않는다. 고객 문의가 들어왔을 때 어느 부서로 보내야 할지 정하거나 사진이 어떤 종류인지 분류하고 여러 AI 에이전트 가운데 누가 다음 일을 맡을지도 고를 수 있다.

게임에서는 화면을 보고 우주선을 움직였고 로봇에서는 카메라로 주변을 본 뒤 다음 행동을 선택했다. 오픈AI는 이런 판단과 실행 능력을 실제 컴퓨터 업무에도 적용하고 있다.

GPT-6 아스트라는 브라우저와 프로그램 화면을 직접 볼 수 있다. 필요한 메뉴를 찾아 버튼을 누르고 한 프로그램에서 다른 프로그램으로 이동하며 작업을 이어가는 것도 가능하다.

이번 데브데이에서는 에이전트 API에도 컴퓨터 사용 기능을 추가했다. 개발자가 별도로 연결해 놓지 않은 웹사이트나 프로그램에서도 AI가 사람이 하듯 화면을 보고 버튼을 누르거나 정보를 입력할 수 있도록 했다.

일례로 웹사이트 검사를 맡기면 AI 에이전트가 직접 브라우저를 열고 여러 페이지를 돌아다니며 기능이 제대로 작동하는지 확인할 수 있다. 이용자가 페이지를 하나씩 열어주거나 다음에 누를 버튼을 계속 알려주지 않아도 AI가 화면을 확인하면서 작업을 이어간다.

이날 공개한 AI 에이전트 '닷츠'는 이런 능력을 일상적인 업무로 가져온다. 자체 클라우드 컴퓨터와 브라우저를 이용해 일정이나 업무 변화를 살피고 필요한 일이 생기면 여러 앱을 오가며 사용자를 대신해 작업한다.

샘 알트먼 오픈AI 최고경영자(CEO)는 "우리는 에이전트 API에 컴퓨터를 가져오고 있다"며 "개발자들이 오픈AI가 사용하는 것과 같은 도구를 이용해 훨씬 더 많은 것을 만들 수 있도록 하고 싶다"고 말했다.