AI Gateway
Roteie suas chamadas de LLM pelo AI Gateway alterando apenas a URL base. Sem dependência de fornecedor: rode sempre no melhor modelo, com o menor custo para o seu caso de uso.
Observabilidade
Instrumente seu código com OpenTelemetry para capturar traces, logs e métricas de cada chamada de LLM, etapa de agente e uso de ferramenta.
AI Gateway
Visão geral
O AWS Strands é um framework para criar agentes de IA com raciocínio estruturado e uso de ferramentas. Ao conectar o AWS Strands ao AI Gateway do Toqan Router, você transforma agentes experimentais em sistemas prontos para produção, com recursos de nível empresarial.Principais benefícios
O AI Gateway do Toqan Router aprimora seus AWS Strands Agents com:Observabilidade completa
Acompanhe cada etapa do agente, uso de ferramenta e interação com traces e analytics detalhados
Confiabilidade integrada
Fallbacks, novas tentativas e balanceamento de carga automáticos para resiliência em produção
Otimização de custos
Rastreamento de custos em tempo real e gestão de gastos em todas as suas operações de IA
Acesso a múltiplos provedores
Acesse mais de 500 LLMs e mais de 30 provedores por meio de uma única integração unificada
Pré-requisitos
Antes de integrar o AWS Strands ao Toqan Router, verifique se você tem:- Uma conta do Toqan Router e uma chave de API
- Python 3.10 ou superior
- SDK do AWS Strands instalado
Para configurar sua chave de API, consulte Chaves de API e endpoints.
Instalação
Instale o SDK do Strands Agents (requer Python 3.10+):Configuração
Configure o Strands Agents para usar o AI Gateway do Toqan Router passando argumentos de cliente personalizados com a URL base:
base_url: https://router.toqan.ai/eu/v3/router
Exemplo básico de agente
Veja um exemplo completo de criação e execução de um agente Strands pelo Toqan Router:Agente com ferramentas
Os agentes Strands podem usar ferramentas enquanto são roteados pelo Toqan Router:Configuração de fallback
Configure fallbacks automáticos para ter confiabilidade:Observabilidade
O AWS Strands se integra à plataforma de observabilidade do Toqan Router por meio do OpenTelemetry. Capture traces completos das interações dos seus agentes, chamadas de ferramentas e invocações de modelos para obter insights profundos sobre o comportamento, o desempenho e os custos dos agentes.Pré-requisitos
Antes de começar, verifique se você tem:- Uma conta do Toqan Router e uma chave de API
- SDK do AWS Strands instalado
- Python 3.10+
Os exemplos abaixo usam modelos da OpenAI com tracing do OpenTelemetry enviado ao Toqan Router. Defina as variáveis de ambiente
OPENAI_API_KEY (para acesso ao modelo) e TOQAN_API_KEY (para exportação de telemetria).Instalação
Configuração
Configure o OpenTelemetry para enviar traces ao Toqan Router:Python
Exemplo básico
Python
Agente com ferramentas
Python

