Response Healing

​

Casos de uso

• Obter saída estruturada confiável de modelos com menor aderência a JSON.
• Remover dos clientes da aplicação o código de limpeza de JSON específico de cada serviço.
• Recuperar chamadas de ferramentas cujos argumentos voltaram levemente malformados.

​

Início rápido

curl -X POST https://router.toqan.ai/eu/v3/router/chat/completions \
  -H "Authorization: Bearer $TOQAN_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "openai/gpt-5.4-mini",
    "messages": [{ "role": "user", "content": "List two colors as JSON." }],
    "response_format": { "type": "json_object" },
    "plugins": [{ "id": "response_healing" }]
  }'

import OpenAI from 'openai';

const client = new OpenAI({
  apiKey: process.env.TOQAN_API_KEY,
  baseURL: 'https://router.toqan.ai/eu/v3/router',
});

const response = await client.chat.completions.create({
  model: 'openai/gpt-5.4-mini',
  messages: [{ role: 'user', content: 'List two colors as JSON.' }],
  response_format: { type: 'json_object' },
  // @ts-ignore - Toqan Router extension
  plugins: [{ id: 'response_healing' }],
});

from openai import OpenAI
import os

client = OpenAI(
    api_key=os.environ.get("TOQAN_API_KEY"),
    base_url="https://router.toqan.ai/eu/v3/router",
)

response = client.chat.completions.create(
    model="openai/gpt-5.4-mini",
    messages=[{"role": "user", "content": "List two colors as JSON."}],
    response_format={"type": "json_object"},
    extra_body={"plugins": [{"id": "response_healing"}]},
)

​

O que é corrigido

​

Quando se aplica

• Conteúdo da mensagem, apenas quando a requisição pede JSON. Em /v3/router/chat/completions, isso significa que response_format é json_object ou json_schema. Em /v3/router/responses, significa que text.format declara type: json_schema ou traz um corpo schema inline não vazio sem um tipo explícito. Requisições que pedem texto simples nunca são modificadas.
• Argumentos de chamadas de ferramentas, sempre que o plugin estiver habilitado. Os argumentos são JSON por definição, portanto nenhum response_format é necessário.

​

Limites

• Apenas requisições sem streaming. Os chunks transmitidos chegam ao chamador antes que o corpo completo seja conhecido, então não sobra nada para corrigir. Definir o plugin em uma requisição com streaming não tem efeito.
• Saídas truncadas por max_tokens podem ser irrecuperáveis. Uma resposta cortada no meio de uma string não pode ser reconstruída.
• Saídas que não podem ser corrigidas passam sem alterações. O plugin nunca faz uma requisição falhar e nunca substitui JSON válido.

​

Habilitar para um workspace

​

Aplicar por routing rule

​

Endpoints compatíveis

• POST /v3/router/responses
• POST /v3/router/chat/completions