오픈AI, 디시전스 API 정식 출시…판단 속도 최대 10배

오픈AI가 반복적인 판단 작업을 빠르게 처리하는 전용 서비스 '디시전스 API'를 정식 출시했다. 22일(현지시간) 회사가 공식 홈페이지에서 밝혔다. 앱과 AI 에이전트의 응답 속도를 높여 이용자 대기 시간과 기업 운영 부담을 줄이겠다는 취지다.

회사에 따르면 'GPT-6 루나' 모델 기반의 이 서비스는 답변 범위가 정해진 질문을 기존 '리스폰스 API'에서 같은 모델을 쓸 때보다 최대 10배 빠르게 처리한다.

활용 방식

개발자가 질문과 가능한 답변을 정하고, 판단에 필요한 텍스트나 이미지를 입력하면 된다. 결과는 확률이나 점수, 또는 미리 정한 선택지 중 하나로 나온다. 고객 문의를 어느 부서로 보낼지 고르거나, AI 에이전트가 작업을 이어갈지 이용자에게 추가 설명을 요청할지 결정하는 데 쓸 수 있다. 제품 사진에서 손상 가능성을 확률로 표시하는 것도 가능하다.

실시간 음성 서비스 'GPT-라이브'와도 연결된다. 고객 상담 중 추가 질문이나 담당자 연결이 필요한지 판단하며, 이용자 말에 따라 앱 속 아바타가 미소 짓거나 걱정하는 표정을 짓게 할 수도 있다.

성능과 요금

요청당 질문 수는 공개 베타의 두 배인 최대 400개로 늘었다. JSON 데이터를 그대로 넣거나 질문 지침에 이미지를 포함할 수 있다. 아시아 여러 지역의 처리 용량을 늘려 지연 시간을 개선했고, 프롬프트 캐싱도 지원한다.

요금은 입력 100만 토큰당 0.10달러, 캐시된 입력은 0.01달러이며 출력 토큰에는 요금을 매기지 않는다. 데이터 처리 지역은 미국이나 EU로 지정할 수 있고, 자격을 충족하면 오픈AI가 데이터를 보관하지 않는 옵션도 쓸 수 있다.

오픈AI는 개인 금융팀의 거래 내역 분류, 커뮤니케이션팀의 보도 주제 분류와 검토 대상 선별에 이 서비스를 쓰고 있다. 박스의 비스와루프 팔리트 부사장은 보험가입증명서 30건 자체 평가에서 리스폰스 API와 같은 정확도를 유지하면서 처리 경로 선택이 약 5배 빨랐다고 밝혔다.