AI Gateway
Roteie suas chamadas de LLM pelo AI Gateway alterando apenas a base URL. Sem dependência de fornecedor: use sempre o melhor modelo pelo menor custo para o seu caso de uso.
AI Gateway
Visão geral
O LlamaIndex Agents é um framework agêntico construído sobre o LlamaIndex que permite que LLMs raciocinem, usem ferramentas e executem fluxos de trabalho com múltiplas etapas. Ao conectar o LlamaIndex Agents ao AI Gateway do Toqan Router, você obtém agentes prontos para produção com recursos de nível empresarial sem alterar seu código existente.Principais benefícios
O AI Gateway do Toqan Router aprimora seus LlamaIndex Agents com:Observabilidade completa
Acompanhe cada etapa de agente, uso de ferramenta e trace de raciocínio com análises detalhadas
Confiabilidade integrada
Fallbacks automáticos, novas tentativas e balanceamento de carga para resiliência em produção
Otimização de custos
Acompanhamento de custos em tempo real e gestão de gastos em todas as suas operações de IA
Acesso a múltiplos provedores
Acesse mais de 500 LLMs e mais de 30 provedores por meio de uma integração única e unificada
Pré-requisitos
Antes de integrar o LlamaIndex Agents ao Toqan Router, certifique-se de ter:- Uma conta no Toqan Router e uma chave de API
- Python 3.8 ou superior
- O LlamaIndex instalado no seu projeto
Para configurar sua chave de API, consulte Chaves de API e endpoints.
Instalação
Instale o LlamaIndex e as dependências necessárias:Configuração
Configure o LlamaIndex Agents para usar o AI Gateway do Toqan Router com a classeOpenAILike:
Python
api_base: https://router.toqan.ai/eu/v3/router
Exemplo básico de agente
Veja um exemplo completo usandoReActAgent com uma ferramenta simples:
Python
Agente com várias ferramentas
Crie agentes com várias ferramentas para raciocínio complexo:Python
Seleção de modelo
Com o Toqan Router, você pode usar qualquer modelo compatível de mais de 30 provedores:Python

