Pular para o conteúdo principal

AI Gateway

Roteie suas chamadas de LLM pelo AI Gateway alterando apenas a base URL. Sem dependência de fornecedor: use sempre o melhor modelo pelo menor custo para o seu caso de uso.

AI Gateway

Visão geral

O LlamaIndex Agents é um framework agêntico construído sobre o LlamaIndex que permite que LLMs raciocinem, usem ferramentas e executem fluxos de trabalho com múltiplas etapas. Ao conectar o LlamaIndex Agents ao AI Gateway do Toqan Router, você obtém agentes prontos para produção com recursos de nível empresarial sem alterar seu código existente.

Principais benefícios

O AI Gateway do Toqan Router aprimora seus LlamaIndex Agents com:

Observabilidade completa

Acompanhe cada etapa de agente, uso de ferramenta e trace de raciocínio com análises detalhadas

Confiabilidade integrada

Fallbacks automáticos, novas tentativas e balanceamento de carga para resiliência em produção

Otimização de custos

Acompanhamento de custos em tempo real e gestão de gastos em todas as suas operações de IA

Acesso a múltiplos provedores

Acesse mais de 500 LLMs e mais de 30 provedores por meio de uma integração única e unificada

Pré-requisitos

Antes de integrar o LlamaIndex Agents ao Toqan Router, certifique-se de ter:
  • Uma conta no Toqan Router e uma chave de API
  • Python 3.8 ou superior
  • O LlamaIndex instalado no seu projeto
Para configurar sua chave de API, consulte Chaves de API e endpoints.

Instalação

Instale o LlamaIndex e as dependências necessárias:

Configuração

Configure o LlamaIndex Agents para usar o AI Gateway do Toqan Router com a classe OpenAILike:
Python
api_base: https://router.toqan.ai/eu/v3/router

Exemplo básico de agente

Veja um exemplo completo usando ReActAgent com uma ferramenta simples:
Python

Agente com várias ferramentas

Crie agentes com várias ferramentas para raciocínio complexo:
Python

Seleção de modelo

Com o Toqan Router, você pode usar qualquer modelo compatível de mais de 30 provedores:
Python