Decisions API는 Generative model을 사용하여 텍스트를 생성하는 대신, 입력 데이터에 대해 직접적인 의사결정(judgment)을 내리고 교정된 확률(calibrated probabilities)을 반환하는 API입니다. 이 API는 생성형 AI의 응답을 파싱할 때 발생하는 지연 시간(latency)과 불확실성을 제거하여, 코드가 즉시 분기, 정렬 및 라우팅을 수행할 수 있도록 설계되었습니다.

핵심 방법론 및 기술적 특징

1. Zero-Text Generation: gemini-decision-1 모델은 텍스트 토큰을 전혀 생성하지 않으므로, 출력 토큰 비용은 0입니다. 모든 작업은 단일 forward pass 내에서 병렬적이고 독립적으로 처리됩니다.
2. 평가 체계 (Question Types):
   • noul (Yes/No): 특정 진술이 참인지 여부를 0.01~0.99 사이의 확률로 반환하며, criteria를 통해 모호함을 제거합니다.
   • choice (Classification): 고정된 옵션 집합 중 하나를 선택하며, 각 옵션에 대한 확률 분포를 제공합니다. 옵션 키는 내부적으로 알파벳 순서(UTF-8 byte order)로 정렬됩니다.
   • score (Rubric-based Rating): 순서가 정해진 레벨(0부터 시작)에 따라 입력을 점수화합니다. 반환된 score는 각 레벨 인덱스의 확률 가중 평균($\sum P(level_i) \times i$)으로 계산됩니다.
3. 신뢰도 지표 (Confidence): 모든 응답은 모델이 해당 선택을 얼마나 확신하는지를 나타내는 confidence 점수를 포함합니다. noul의 경우 $\max(P_{yes}, 1 - P_{yes})$를, choice 및 score의 경우 최상위 결과의 확률을 신뢰도로 사용합니다.
4. 멀티모달 입력 및 구조화: 텍스트뿐만 아니라 이미지, 오디오, 비디오, PDF 등 다양한 미디어 블록을 입력으로 지원합니다. 구조화된 데이터는 JSON을 문자열로 직렬화하여 전달하며, 모델은 이를 기반으로 질문에 답합니다.

운영 최적화 지침

• Atomic Checks: 단일 목적의 질문을 여러 개 구성하여 요청하고, 응답을 코드 내 if 문으로 조합하는 방식(Composition in code)을 권장합니다.
• 불확실성 관리: confidence 임계값을 설정하여 자동화된 처리를 수행하거나, 신뢰도가 낮은 경우 인간 검토(human escalation) 단계로 넘기는 로직을 구축해야 합니다.
• 입력 제어: 관련 없는 정보는 정확도를 낮추므로, 질문에 필요한 데이터만 필터링하여 전달해야 합니다. 수치나 날짜 비교는 API 호출 전후의 코드 로직에서 직접 처리하는 것이 효율적입니다.