오픈AI, 빠른 분류·판단용 디시전스 API 공개

오픈AI(OpenAI)가 텍스트와 이미지를 빠르게 판별해 확률·분류·점수로 돌려주는 디시전스 API(Decisions API)를 공개 베타로 내놨다. 회사는 기존 레스폰시스 API(Responses API)보다 약 10배 빠르다고 설명하며, 분류와 우선순위 지정처럼 긴 답변보다 짧은 판단이 필요한 작업을 겨냥했다. 결과를 바로 업무 흐름에 연결할 수 있다는 점이 매력적이지만, 확률을 어디까지 믿고 자동 처리할지는 개발자가 직접 정해야 한다. 해커뉴스 토론에서도 경쟁 서비스와의 속도·비용 비교, 판단 근거를 드러내지 않는 방식의 한계가 함께 거론됐다.

핵심요약

  • 디시전스 API는 텍스트·이미지를 평가해 조건의 성립 확률, 고정 선택지 중 하나, 순서가 있는 기준의 점수를 반환하므로 분류와 요청 배분에 맞춰져 있다.
  • 오픈AI는 레스폰시스 API보다 약 10배 빠르다고 설명하지만, 현재 이용 가능한 모델은 GPT-6-luna 하나다.
  • 선택형과 점수형은 선택지별 확률과 별도의 신뢰도 값을 제공하므로, 개발자는 실제 업무 사례로 자동 처리 기준을 정해야 한다.
  • 입력 토큰 100만 개당 가격은 0.10달러이고 출력 토큰 요금은 없지만, 지역 처리와 긴 문맥에는 별도 요금 조건이 적용된다.
  • 해커뉴스에서는 빠르고 저렴한 판단 도구라는 평가와 함께 경쟁 제품 대비 성능, 확률 해석, 복잡한 작업에서의 적합성을 둘러싼 의견이 갈렸다.

긴 답변 대신 정해진 형태의 판단

디시전스 API는 문장을 생성하는 대신 질문에 맞는 형태의 답을 돌려준다. 어떤 조건이 참일 확률을 구하거나, 미리 정한 항목 가운데 하나를 고르거나, 순서가 있는 기준에 따라 점수를 매기는 방식이다. 오픈AI는 이런 답을 콘텐츠 분류, 고객 요청 배분, 처리할 일의 우선순위 결정에 활용할 수 있다고 소개한다. 코드를 작성하기 전에는 플레이그라운드에서 질문과 입력을 시험해 볼 수 있다.

서비스는 공개 베타 단계이며, 오픈AI는 몇 주 안에 정식 출시할 것으로 예상한다고 밝혔다. 현재 쓸 수 있는 모델은 GPT-6-luna뿐이고, 호출에는 전용 POST /v1/decisions 엔드포인트를 사용한다. 회사가 제시한 속도는 레스폰시스 API 대비 약 10배다. 개발자는 기존의 자유로운 텍스트 응답을 단순히 짧게 받는 것이 아니라, 판별 작업에 맞춘 별도 요청 형식을 쓰게 된다.

한 요청에는 평가할 입력과 질문을 담고, 응답의 answers 배열에서 결과를 받는다. 질문마다 고유한 이름을 붙이면 응답에도 같은 이름이 실려 어떤 결과가 어느 질문에 해당하는지 구별할 수 있다. 오픈AI는 직접 정의한 JSON 구조에 맞는 객체나 설명문이 필요하다면 레스폰시스 API의 구조화 출력(정해진 형식에 맞춰 응답을 생성하는 기능)을 쓰라고 안내한다. 모델이 도구 호출과 그 인수를 요청해야 하는 작업에는 함수 호출이 맞다는 구분도 제시했다.

상품 사진의 흠집을 확률로 확인하기

첫 번째 질문 유형인 조건 판별형(predicate)은 지정한 조건이 참일 것으로 추정하는 확률을 반환한다. 문서의 예시는 상품 사진을 보고 균열, 찢김, 찌그러짐 같은 눈에 보이는 손상이 있는지 묻는다. 지시문에는 그림자와 포장재의 손상은 무시하라는 조건도 들어간다. 무엇을 손상으로 볼지 질문에 적어야 결과를 업무 기준에 연결할 수 있다는 뜻이다.

예시 응답에서 visible_damage의 확률은 0.92다. 이는 손상이 확인됐다는 별도의 판정 표시가 아니라, 모델이 해당 조건을 참으로 추정한 값이다. 오픈AI는 개발자가 정한 임계값(자동 처리와 검토를 가르는 기준값)에 따라 사진을 검토 대상으로 표시할 수 있다고 설명한다. 같은 숫자라도 어느 수준부터 사람에게 넘길지는 서비스의 처리 방식에 달려 있다.

이미지를 보낼 때는 파일 데이터를 요청 안에 넣은 베이스64 데이터 URL을 써야 한다. 이 엔드포인트는 호스팅된 HTTP·HTTPS 이미지 주소와 file_id 입력을 지원하지 않는다. 사진을 평가하면서 설명이나 맥락을 함께 반영하려면 사용자 메시지에 input_image와 input_text를 같이 넣는다. 이미지 판별을 도입하려는 개발자에게는 결과 형식뿐 아니라 이 입력 조건도 구현의 일부다.

부서를 고르는 선택형, 빠진 항목을 받는 기타

선택형(choice)은 개발자가 제공한 고정 항목 중 하나를 고른다. 문서에는 주문 대금이 두 번 청구됐다는 불만을 결제, 기술 지원, 배송, 기타 부서로 분류하는 예시가 나온다. 각 항목에는 값뿐 아니라 어떤 상황에 해당하는지 설명도 붙인다. 결제 항목이라면 결제·청구서·환불을 다룬다고 적어, 항목의 범위를 질문 안에서 정하는 식이다.

예시 응답은 결제 부서를 선택하고, 항목별 확률과 별도의 confidence 값도 돌려준다. 결제 항목의 확률은 0.95이고 신뢰도 값은 0.93으로, 문서는 두 필드를 구분해 보여준다. 개발자는 선택된 부서만 읽을 수도 있지만, 다른 부서에 배정됐을 가능성을 함께 살펴볼 수도 있다. 다만 이 값들을 어떤 업무 규칙으로 바꿀지는 응답 자체가 결정해 주지 않는다.

오픈AI는 준비한 항목이 모든 입력을 포괄하지 못한다면 ‘기타’ 같은 대체 선택지를 넣으라고 권한다. 분류 범위 밖의 요청을 억지로 기존 부서에 배정하는 대신 일반 검토 대기열로 보낼 수 있기 때문이다. 선택지마다 뜻이 겹치지 않도록 설명하는 것도 중요하다. 고정된 답을 빠르게 받는 API인 만큼, 분류표를 어떻게 짜느냐가 실제 결과에 직접 영향을 준다.

세 단계의 심각도를 1.1점으로 나타내기

점수형(score)은 순서가 있는 수준별로 입력을 평가한다. 문서는 문제의 심각도를 ‘겉모습만 영향’, ‘우회 방법 있음’, ‘우회 방법 없이 작업 불가’로 나눈다. 예시는 한 브라우저에서 내보내기가 실패하지만 다른 브라우저에서는 작동하는 상황이다. 부서처럼 순서가 없는 범주를 고를 때와 달리, 점수형에서는 낮은 수준부터 높은 수준까지 기준을 배열한다.

각 수준의 번호는 0부터 시작한다. 예시 응답의 확률은 세 수준에 각각 0.1, 0.7, 0.2로 배분됐고, 점수는 이 번호의 확률 가중평균인 1.1이다. 따라서 1.1은 새 심각도 단계의 이름이 아니라 세 수준에 걸친 판단을 압축한 숫자다. 이 응답에도 수준별 확률과 별도 신뢰도 값 0.55가 포함된다.

오픈AI는 인접한 점수 수준에 서로 구별되는 기준을 적으라고 안내한다. ‘우회 방법이 있음’과 ‘완전히 막힘’처럼 실제 처리 방식을 가르는 설명이 있어야 점수의 쓰임도 분명해진다. 결과를 하나의 범주로 정해야 한다면 점수형보다 선택형을 쓰라고 명시했다. 숫자가 필요하다는 이유만으로 점수형을 고르기보다는, 업무에서 수준 간 순서가 필요한지를 먼저 따져야 한다.

한 입력에 여러 질문을 묶을 때

같은 입력에 관한 독립적인 질문은 한 요청의 questions 배열에 함께 담을 수 있다. 상품 사진을 놓고 손상 여부와 상품 범주를 동시에 묻는 것이 문서의 예시다. 각 질문은 서로 다른 유형을 사용할 수 있고, 결과는 질문 이름으로 구별한다. 입력을 공유하면서도 판단할 항목은 따로 정의하는 구조다.

반면 다음 질문이 앞선 답에 따라 달라진다면 요청을 나눠야 한다. 문서는 먼저 손상 여부를 확인한 뒤, 그 결과를 보고 수리 범주를 다시 묻는 사례를 든다. 질문도 관찰할 수 있는 기준을 중심으로 쓰고, 서로 다른 관심사는 분리하라고 권한다. 여러 결과를 한꺼번에 받는 편의성과 판단 순서를 제어해야 하는 상황을 구별해야 한다는 설명이다.

확률을 업무 규칙으로 바꾸는 기준

조건 판별형은 조건이 참일 추정 확률을 돌려준다. 선택형과 점수형은 항목별 확률 분포에 더해 별도의 신뢰도 필드를 제공한다. 오픈AI는 분류·필터링·검토 대기열 배분에 쓸 임계값을 정할 때 실제 애플리케이션에서 라벨을 붙인 사례를 이용하라고 권한다. 응답에 숫자가 있다고 해서 모든 요청을 같은 기준으로 자동 처리하라는 뜻은 아니다.

기준을 정할 때는 거짓 양성(아닌 것을 맞다고 판단함)과 거짓 음성(맞는 것을 놓침)의 비용을 비교해야 한다. 상품 사진의 손상 표시나 고객 불만의 부서 배정처럼, 잘못된 판별이 일으키는 후속 작업은 서로 다를 수 있다. 확률은 검토 대상을 가르는 재료가 될 수 있지만, 임계값과 예외 처리 흐름은 개발자가 설계해야 한다. 디시전스 API의 출력이 짧아질수록 그 숫자를 받아 실행하는 규칙의 역할은 커진다.

문서는 선택형에 ‘기타’를 두거나 손상 사진을 기준값에 따라 검토하도록 하는 예시를 제시한다. 두 방법 모두 애매한 결과를 무조건 자동 처리하지 않고 다른 경로로 보내는 방식이다. 특히 질문의 설명과 점수 기준이 흐릿하면, 뒤에서 임계값을 조정해도 무엇을 판별했는지 해석하기 어렵다. 먼저 판단 대상을 분명히 쓰고, 실제 사례로 결과와 기준값을 맞춰 보는 순서가 필요하다.

입력 토큰만 받는 요금과 음성 연결

GPT-6-luna를 디시전스 API에서 사용할 때 가격은 입력 토큰 100만 개당 0.10달러다. 출력 토큰, 캐시 읽기, 캐시 쓰기에 대한 요금은 없다고 문서에 적혀 있다. 다만 지역 처리 할증과 긴 문맥 입력의 요금 배수는 적용된다. 이 가격은 /v1/decisions 요청에 해당하며, 같은 모델을 다른 방식으로 호출하면 해당 모델과 처리 등급의 요금이 적용된다.

오픈AI는 자격을 갖춘 고객에게 제로 데이터 보존(ZDR·요청 데이터를 보존하지 않는 설정)과 HIPAA 용도를 지원한다고 안내한다. 데이터 상주와 지역 처리도 미국, 유럽경제지역 및 스위스에서 지원한다. 이용 가능 여부에는 필요한 계약과 제한 조건이 따르므로, 해당 기능을 쓰려는 고객은 데이터 관리 조건을 확인해야 한다. 빠른 판별 기능과 별개로 입력을 어디서 처리할지에 관한 선택지도 문서에 포함된 셈이다.

문서 마지막에는 라이브 API(Live API)의 클라이언트 위임 기능과 연결해 음성 요청에서 실행할 동작을 고르고 결과를 사용자에게 알리는 활용법도 등장한다. 이는 디시전스 API가 사진과 문장 분류뿐 아니라 음성 상호작용의 한 단계에도 쓰일 수 있음을 보여준다. 다만 문서가 자세히 설명하는 핵심은 어디까지나 조건 판별, 고정 선택지, 순서 있는 점수라는 세 가지 답의 형태다.

커뮤니티 의견

한 사용자는 화난 고객의 문장을 넣고 불만인지 칭찬인지 동시에 물어, 각각 0.91과 0.06이라는 조건 판별 확률을 받았다고 소개했다. 이 사용자는 별도 /v1/decisions 엔드포인트가 다른 제공업체에도 퍼질 수 있다는 점에 주목했고, 이를 위한 플러그인도 만들었다. 답글에서는 이런 방식이 기존 머신러닝 시대의 분류 모델과 어떻게 다른지 묻는 질문이 나왔다.

다른 사용자는 빠른 예·아니요 판단과 신뢰도 값이 필요한 고객에게 저렴한 서비스가 매력적이라며, 제브(Jev)의 등장과 이번 출시를 가격 경쟁의 흐름으로 읽었다. 이에 대한 답글에서는 업체를 쉽게 바꿀 수 있어야 한다는 의견과, 모델 전환 자체는 이미 간단하다는 의견이 이어졌다. 논의의 초점은 판단 결과를 파는 API가 얼마나 차별화될 수 있느냐였다.

한 사용자는 현재 이용 가능한 모델이 GPT-6-luna 하나뿐인 점을 들어 출시가 서둘러 이뤄졌다고 해석했다. 자신이 본 확률은 업무에서 기대할 만한 수치와 맞지 않았다고도 했다. 판단의 확률이 눈에 보이면 오히려 그 판단을 신뢰하기 어려워질 수 있다는 우려다.

직접 비교를 진행한 사용자는 600회 미만의 예비 평가에서 디시전스 API가 제브보다 느리고, 측정 비용도 평균 3.1배 높았다고 말했다. 자신이 다룬 UI 구성 요소 선택 등 특수한 작업에서는 실패 호출도 있었다고 덧붙였다. 답글에서는 기존에 오픈AI 계약을 맺은 조직이라면 새 업체와 계약하기보다 이 API를 도입하기 쉬울 수 있다는 반론과, 제브가 낯선 분야를 잘 이해하지 못했다는 경험담이 나왔다.

또 다른 사용자는 이미지 입력을 지원한다는 점을 짚고, 자신의 시험에서는 요청부터 응답까지 160~175밀리초가 걸렸다고 전했다. 가장 느린 5%는 285밀리초, 자신이 본 최장 시간은 743밀리초였다는 관찰도 덧붙였다. 답글에서는 별도 학습 없이 이 속도로 이미지 분류에 활용할 수 있는지에 관심을 보였다.

복잡한 업무에는 이런 판단 API가 맞지 않는다는 반론도 나왔다. 한 사용자는 여러 속성과 하위 구조를 함께 담아야 한다면 스키마를 지정한 구조화 출력이 낫다고 주장했다. 수많은 판단을 독립적으로 요청하면 결과 사이의 일관성을 잃을 수 있다는 것이 근거였다.

로컬에서 실행하는 대안을 제시한 사용자도 있었다. 엔비디아(NVIDIA) RTX 4090 한 장에서 제브 호환 판단 엔드포인트와 채팅 엔드포인트를 함께 운영하는 자신의 포크를 소개하며, 새 디시전스 API 형식도 지원할 필요가 있다고 말했다. 답글에서는 판단 전용 모델로 쓰기에는 모델 크기가 커 속도가 느리지 않겠느냐는 질문이 나왔다.

기존 방식과 비교한 사용자는 입력 토큰 가격이 같다면 핵심 차이는 속도라고 봤다. 답글에서는 디시전스 API에는 출력 토큰 요금이 없고 이미지도 입력할 수 있다는 점을 짚었다. 단순히 응답이 빨라졌는지만 볼 것이 아니라 어떤 입력과 결과에 비용이 붙는지도 비교해야 한다는 지적이다.

핵심통찰

디시전스 API가 바꾸는 것은 AI가 더 긴 답을 쓰는 방식이 아니라, 짧은 판단을 애플리케이션의 처리 흐름에 꽂는 방식이다. 오픈AI는 속도와 입력 중심 요금, 이미지 지원을 내세웠지만, 토론에서는 경쟁 제품과 비교한 성능·비용 평가가 엇갈렸다. 앞으로 볼 것은 발표된 속도만이 아니다. 개발자가 실제 사례에서 확률의 기준값을 안정적으로 정할 수 있는지, 여러 판단을 묶어도 필요한 맥락과 일관성을 유지할 수 있는지가 이 API의 쓰임을 가를 것이다.


원본: Decisions | OpenAI API

토론: Hacker News