Pular para o conteúdo principal

AI Gateway

Roteie suas chamadas de LLM pelo AI Gateway alterando apenas a base URL. Sem dependência de fornecedor: use sempre o melhor modelo pelo menor custo para o seu caso de uso.

Observabilidade

Instrumente seu código com OpenTelemetry para capturar traces, logs e métricas de cada chamada de LLM, etapa de agente e uso de ferramenta.

AI Gateway

Visão geral

O OpenAI Agents SDK permite uma automação poderosa orientada por IA por meio de conversas estruturadas e chamadas de ferramentas. Ao conectar o Agents SDK ao AI Gateway do Toqan Router, você transforma agentes experimentais em sistemas prontos para produção com recursos de nível empresarial.

Principais benefícios

O AI Gateway do Toqan Router aprimora seus OpenAI Agents com:

Observabilidade completa

Acompanhe cada etapa de agente, uso de ferramenta e interação com traces e análises detalhados

Confiabilidade integrada

Fallbacks automáticos, novas tentativas e balanceamento de carga para resiliência em produção

Otimização de custos

Acompanhamento de custos em tempo real e gestão de gastos em todas as suas operações de IA

Acesso a múltiplos provedores

Acesse mais de 500 LLMs e mais de 30 provedores por meio de uma integração única e unificada

Pré-requisitos

Antes de integrar o OpenAI Agents SDK ao Toqan Router, certifique-se de ter:
  • Uma conta no Toqan Router e uma chave de API
  • Python 3.8 ou superior
  • O OpenAI Agents SDK instalado
Para configurar sua chave de API, consulte Chaves de API e endpoints.

Instalação

Instale o OpenAI Agents SDK:

Configuração

Configure o OpenAI Agents SDK para usar o AI Gateway do Toqan Router definindo um cliente AsyncOpenAI personalizado:
Python
base_url: https://router.toqan.ai/eu/v3/router

Tracing integrado da OpenAI

O OpenAI Agents SDK inclui um tracing integrado que, por padrão, exporta para o dashboard de Traces hospedado pela OpenAI. Quando você usa o AI Gateway do Toqan Router com TOQAN_API_KEY e não configura credenciais de tracing da OpenAI, o SDK pode exibir No API key provided for OpenAI tracing exporter. Exports will be skipped.
Não defina OPENAI_API_KEY apenas para silenciar esse aviso. Isso envia os traces do SDK para o dashboard da OpenAI em vez do Toqan Router. Escolha um destes caminhos: Opção A: desabilitar o tracing integrado da OpenAI no SDK. Use esta opção em exemplos que usam apenas o router, quando você não precisa de traces de agentes no Toqan Router.
Ou desabilite-o no código:
TypeScript
Python
Opção B: enviar traces de agentes ao Toqan Router. Mantenha a camada de tracing do SDK habilitada e registre um exporter OpenTelemetry para o Toqan Router antes de executar os agentes:
Python
A seção Observabilidade abaixo usa o mesmo coletor OTLP do Toqan Router e mostra exemplos completos, incluindo o flush de spans em buffer em scripts curtos.

Exemplo básico de agente

Veja um exemplo completo de criação e execução de um agente OpenAI por meio do Toqan Router:
Python

Agente com ferramentas

Os OpenAI Agents podem usar ferramentas ao rotear pelo Toqan Router:
Python

Seleção de modelo

Com o Toqan Router, você pode usar qualquer modelo compatível de mais de 30 provedores:
Python
O mesmo wrapper OpenAIResponsesModel funciona para todos os provedores. Passe a string completa provider/model, e o AI Gateway roteia a solicitação para o provedor correspondente.

Observabilidade

Primeiros passos

Integre os OpenAI Agents à observabilidade do Toqan Router para obter insights completos sobre desempenho dos agentes, uso de tokens, utilização de ferramentas e fluxos de conversa usando OpenTelemetry.

Pré-requisitos

Antes de começar, certifique-se de ter:
  • Uma conta no Toqan Router e uma chave de API
  • Chave de API da OpenAI
  • Python 3.8+

Instalar dependências

Configurar o Toqan Router

Configure suas variáveis de ambiente para se conectar ao coletor OpenTelemetry do Toqan Router: Unix/Linux/macOS:
Windows (PowerShell):
Usando um arquivo .env:

Armadilhas comuns

  • Não defina uma base_url personalizada ao usar OTEL. Apontar o cliente OpenAI para o AI Gateway e, ao mesmo tempo, exportar spans resulta em traces duplicados: um do router e outro do exporter OTEL. Use o router quando precisar de roteamento entre múltiplos provedores ou de fallbacks. Use sua OPENAI_API_KEY diretamente quando precisar apenas de observabilidade.
  • Desabilite o tracing do SDK apenas em execuções somente com o router. OPENAI_AGENTS_DISABLE_TRACING=1 e set_tracing_disabled(True) são adequados quando você quer silenciar o aviso do exporter da OpenAI sem exportar traces de agentes. Não os use com os exemplos de Observabilidade, pois eles impedem que spans no nível do agente cheguem ao Toqan Router.
  • Envolva as execuções em agent_trace(workflow_name=...). Sem isso, o span raiz recebe o nome "Agent workflow" em todas as execuções, o que torna impossível distinguir os traces.
  • Chame provider.shutdown() antes de sair em scripts curtos. O BatchSpanProcessor armazena spans em buffer com base em um temporizador e pode não fazer o flush antes de o processo terminar.

Exemplo básico

Python

Exemplo avançado com function calling

Python

Spans personalizados para operações de agentes

Python

Visualizar traces

Visualize seus traces no AI Studio, na aba Traces.
Acesse seu AI Studio para ver análises e traces em tempo real.

Captura de agentes e ferramentas

Agentes, ferramentas e modelos são derivados dos spans e renderizados em Agent Graphs.

Instalação

Configuração

Defina as variáveis de ambiente OTLP e inicialize o tracer provider com o OpenAIAgentsInstrumentor antes de executar quaisquer agentes:
Python

Exemplos

Agente sem ferramentas: captura agent/Assistant, model/gpt-5.6-sol
Python
Agente com uma única ferramenta: captura agent/Weather Assistant, tool/get_weather, model/gpt-5.6-sol
Python
Fluxo de trabalho multiagente com handoff: captura agent/Assistant, agent/Spanish Assistant, tool/random_number_tool, model/gpt-5.6-sol
Python