Pular para o conteúdo principal

AI Gateway

Roteie suas chamadas de LLM pelo AI Gateway alterando apenas a URL base. Sem dependência de fornecedor: rode sempre no melhor modelo, com o menor custo para o seu caso de uso.

Observabilidade

Instrumente seu código com OpenTelemetry para capturar traces, logs e métricas de cada chamada de LLM, etapa de agente e uso de ferramenta.

AI Gateway

Visão geral

O AWS Strands é um framework para criar agentes de IA com raciocínio estruturado e uso de ferramentas. Ao conectar o AWS Strands ao AI Gateway do Toqan Router, você transforma agentes experimentais em sistemas prontos para produção, com recursos de nível empresarial.

Principais benefícios

O AI Gateway do Toqan Router aprimora seus AWS Strands Agents com:

Observabilidade completa

Acompanhe cada etapa do agente, uso de ferramenta e interação com traces e analytics detalhados

Confiabilidade integrada

Fallbacks, novas tentativas e balanceamento de carga automáticos para resiliência em produção

Otimização de custos

Rastreamento de custos em tempo real e gestão de gastos em todas as suas operações de IA

Acesso a múltiplos provedores

Acesse mais de 500 LLMs e mais de 30 provedores por meio de uma única integração unificada

Pré-requisitos

Antes de integrar o AWS Strands ao Toqan Router, verifique se você tem:
  • Uma conta do Toqan Router e uma chave de API
  • Python 3.10 ou superior
  • SDK do AWS Strands instalado
Para configurar sua chave de API, consulte Chaves de API e endpoints.

Instalação

Instale o SDK do Strands Agents (requer Python 3.10+):

Configuração

Configure o Strands Agents para usar o AI Gateway do Toqan Router passando argumentos de cliente personalizados com a URL base:
base_url: https://router.toqan.ai/eu/v3/router

Exemplo básico de agente

Veja um exemplo completo de criação e execução de um agente Strands pelo Toqan Router:

Agente com ferramentas

Os agentes Strands podem usar ferramentas enquanto são roteados pelo Toqan Router:

Configuração de fallback

Configure fallbacks automáticos para ter confiabilidade:

Observabilidade

O AWS Strands se integra à plataforma de observabilidade do Toqan Router por meio do OpenTelemetry. Capture traces completos das interações dos seus agentes, chamadas de ferramentas e invocações de modelos para obter insights profundos sobre o comportamento, o desempenho e os custos dos agentes.

Pré-requisitos

Antes de começar, verifique se você tem:
  • Uma conta do Toqan Router e uma chave de API
  • SDK do AWS Strands instalado
  • Python 3.10+
Os exemplos abaixo usam modelos da OpenAI com tracing do OpenTelemetry enviado ao Toqan Router. Defina as variáveis de ambiente OPENAI_API_KEY (para acesso ao modelo) e TOQAN_API_KEY (para exportação de telemetria).

Instalação

Configuração

Configure o OpenTelemetry para enviar traces ao Toqan Router:
Python

Exemplo básico

Python

Agente com ferramentas

Python