"AI 판단 속도 10배↑"…오픈AI, '디시전스 API' 정식 출시

'GPT-6 루나' 모델 기반 작동…고객 문의 분류·후속 작업 선택 지원

오픈AI가 고객 문의 분류와 후속 작업 선택 등 반복적인 판단을 빠르게 처리하는 전용 서비스를 내놨다. 앱과 인공지능(AI) 에이전트 응답 속도를 높여 이용자 대기 시간과 기업 운영 부담을 줄이려는 취지다.

오픈AI는 'GPT-6 루나' 기반 '디시전스 API'를 정식 출시했다고 22일(현지시간) 공식 홈페이지를 통해 밝혔다. 회사에 따르면 이 서비스는 답변 범위가 정해진 질문을 기존 '리스폰스 API'에서 같은 모델을 사용할 때보다 최대 10배 빠르게 처리한다.

사용 방식은 개발자가 질문과 가능한 답변을 정한 뒤 판단에 필요한 텍스트나 이미지를 입력하는 구조다. 고객 문의를 어느 부서로 전달할지 선택하거나 AI 에이전트가 작업을 계속할지 또는 이용자에게 추가 설명을 요청할지 결정하는 데 활용할 수 있다.

오픈AI는 'GPT-6 루나' 기반 '디시전스 API'를 정식 출시했다. (사진=오픈AI 홈페이지)

판단 결과는 확률이나 점수로 제시하거나 미리 정한 선택지 중 하나를 고르는 방식으로 제공된다. 예를 들어 제품 사진에서 손상이 있을 가능성을 확률로 나타내거나 손상 정도를 점수로 평가할 수 있다. 고객 문의를 처리할 때는 개발자가 지정한 담당 부서 중 한 곳을 선택할 수 있다.

이 같은 판단 기능은 실시간 음성 대화에도 적용된다. 오픈AI는 음성 서비스 'GPT-라이브'와 디시전스 API를 연결해 고객 상담 도중 추가 질문이나 담당자 연결이 필요한지 판단하도록 했다. 이용자 말에 맞춰 앱 속 아바타가 미소를 짓거나 걱정하는 표정을 보이도록 구성하는 것도 가능하다.

오픈AI는 한 번에 처리할 수 있는 질문 수도 늘렸다. 요청당 질문 수는 공개 베타 당시의 두 배인 최대 400개다. 개발자는 JSON 형식의 데이터를 그대로 입력하거나 질문 지침에 이미지를 포함할 수 있다.

오픈AI는 아시아 여러 지역의 처리 용량을 늘려 지연 시간도 개선했다고 설명했다. 또 반복해서 사용하는 맥락을 저장해 재활용하는 프롬프트 캐싱을 지원한다.

요금은 입력 100만 토큰당 0.10달러다. 캐시된 입력에는 100만 토큰당 0.01달러를 부과하며 출력 토큰에는 요금을 매기지 않는다.

고객은 데이터 처리 지역을 미국이나 유럽연합(EU)으로 지정할 수 있다. 자격 요건을 충족하면 오픈AI가 데이터를 보관하지 않는 옵션도 이용할 수 있다.

오픈AI는 내부 업무에도 디시전스 API를 적용하고 있다. 개인 금융팀은 거래 내역 설명을 분류하는 데 활용한다. 커뮤니케이션팀은 보도를 주제별로 나누고 핵심 메시지를 뒷받침하거나 반박하는 정도를 평가해 추가 검토가 필요한 보도를 파악한다.

비스와루프 팔리트 박스 플랫폼·통합 제품관리 부사장은 "보험가입증명서 30건을 대상으로 한 자체 평가에서 디시전스 API는 리스폰스 API와 동일한 정확도를 유지하면서도 처리 경로 선택 속도가 약 5배 빨랐다"며 "일상적인 업무를 자동화하고 신뢰도가 낮은 사례는 검토자에게 전달하고 있다"고 밝혔다.