AI Gateway
Encaminhe suas chamadas de LLM pelo AI Gateway alterando apenas a URL base. Sem dependência de fornecedor: execute sempre o melhor modelo pelo menor custo para o seu caso de uso.
Observabilidade
Instrumente seu código com OpenTelemetry para capturar traces, logs e métricas de cada chamada de LLM, etapa de agente e uso de ferramenta.
AI Gateway
Visão geral
O SmolAgents é um framework leve de agentes em Python criado pela Hugging Face. UsandoOpenAIServerModel com um api_base personalizado, você pode encaminhar todas as chamadas de LLM pelo AI Gateway do Toqan Router e ter acesso a mais de 500 modelos, rastreamento de custos e recursos de confiabilidade.
Pré-requisitos
- Uma conta no Toqan Router e uma chave de API
- Python 3.9 ou superior
Para configurar sua chave de API, consulte Chaves de API e endpoints.
Instalação
Configuração
Python
api_base: https://router.toqan.ai/eu/v3/router
Exemplo básico de agente
Python
Seleção de modelo
Com o Toqan Router, você pode usar qualquer modelo compatível de mais de 30 provedores:Python
Observabilidade
Visão geral
O SmolAgents usa a bibliotecaopeninference-instrumentation-smolagents para instrumentar automaticamente as execuções de agentes e exportar traces via OpenTelemetry.
Pré-requisitos
- Uma conta no Toqan Router e uma chave de API
- Python 3.9 ou superior
Instalação
Configurando a observabilidade do Toqan Router
Configure o tracer provider e instrumente o SmolAgents antes de criar qualquer agente:SmolagentsInstrumentor deve ser chamado antes de qualquer agente ser instanciado. Após a instrumentação, todas as execuções de CodeAgent e ToolCallingAgent são rastreadas automaticamente.
