Integração com o framework LangGraph

AI Gateway

Roteie suas chamadas de LLM pelo AI Gateway alterando apenas a base URL. Sem dependência de fornecedor: use sempre o melhor modelo pelo menor custo para o seu caso de uso.

Observabilidade

Instrumente seu código com OpenTelemetry para capturar traces, logs e métricas de cada chamada de LLM, etapa de agente e uso de ferramenta.

AI Gateway

Visão geral

O LangGraph é um framework para criar aplicações de IA com estado e múltiplos atores usando LLMs. Ele estende o LangChain com orquestração de agentes baseada em grafos, ciclos e controlabilidade. Ao conectar o LangGraph ao AI Gateway do Toqan Router, você obtém fluxos de trabalho agênticos prontos para produção com acesso a mais de 500 modelos.

Principais benefícios

O AI Gateway do Toqan Router aprimora suas aplicações LangGraph com:

Observabilidade completa

Acompanhe cada etapa de agente, uso de ferramenta e transição do grafo com traces detalhados

Confiabilidade integrada

Fallbacks automáticos, novas tentativas e balanceamento de carga para resiliência em produção

Otimização de custos

Acompanhamento de custos em tempo real e gestão de gastos em todas as suas operações de IA

Acesso a múltiplos provedores

Acesse mais de 500 LLMs e mais de 30 provedores por meio de uma integração única e unificada

Pré-requisitos

Antes de integrar o LangGraph ao Toqan Router, certifique-se de ter:

Uma conta no Toqan Router e uma chave de API
Python 3.8 ou superior

Para configurar sua chave de API, consulte Chaves de API e endpoints.

Instalação

pip install langgraph langchain langchain-openai langchain-core

Configuração

Configure o LangGraph para usar o AI Gateway do Toqan Router passando uma instância de ChatOpenAI com uma base_url personalizada:

Python

from langchain_openai import ChatOpenAI
import os

llm = ChatOpenAI(
    model="openai/gpt-5.6-sol",
    api_key=os.getenv("TOQAN_API_KEY"),
    base_url="https://router.toqan.ai/eu/v3/router",
)

base_url: https://router.toqan.ai/eu/v3/router

Exemplo básico de agente

Veja um exemplo completo usando create_agent com uma ferramenta:

Python

from langchain.agents import create_agent
from langchain_openai import ChatOpenAI
from langchain_core.tools import tool
import os

llm = ChatOpenAI(
    model="openai/gpt-5.6-sol",
    api_key=os.getenv("TOQAN_API_KEY"),
    base_url="https://router.toqan.ai/eu/v3/router",
)

@tool
def get_weather(location: str) -> str:
    """Get the current weather for a location."""
    return f"The weather in {location} is sunny and 72°F"

agent = create_agent(llm, tools=[get_weather])

result = agent.invoke({"messages": [("user", "What's the weather in San Francisco?")]})
print(result["messages"][-1].content)

Agente com várias ferramentas

Python

from langchain.agents import create_agent
from langchain_openai import ChatOpenAI
from langchain_core.tools import tool
import os

llm = ChatOpenAI(
    model="openai/gpt-5.6-sol",
    api_key=os.getenv("TOQAN_API_KEY"),
    base_url="https://router.toqan.ai/eu/v3/router",
)

@tool
def get_weather(location: str) -> str:
    """Get the current weather for a location."""
    return f"The weather in {location} is sunny and 72°F"

@tool
def add(a: int, b: int) -> int:
    """Add two integers."""
    return a + b

@tool
def multiply(a: int, b: int) -> int:
    """Multiply two integers."""
    return a * b

agent = create_agent(
    llm,
    tools=[get_weather, add, multiply],
    system_prompt="You are a helpful assistant with access to weather and math tools.",
)

result = agent.invoke({
    "messages": [("user", "What is 15 * 4? Also check the weather in Tokyo.")]
})
print(result["messages"][-1].content)

Streaming

Faça o streaming das etapas do agente conforme acontecem:

Python

from langchain.agents import create_agent
from langchain_openai import ChatOpenAI
from langchain_core.tools import tool
import os

llm = ChatOpenAI(
    model="openai/gpt-5.6-sol",
    api_key=os.getenv("TOQAN_API_KEY"),
    base_url="https://router.toqan.ai/eu/v3/router",
)

@tool
def get_weather(location: str) -> str:
    """Get the current weather for a location."""
    return f"The weather in {location} is sunny and 72°F"

agent = create_agent(llm, tools=[get_weather])

for chunk in agent.stream(
    {"messages": [("user", "What's the weather in Paris?")]},
    stream_mode="updates",
):
    print(chunk)

Seleção de modelo

Com o Toqan Router, você pode usar qualquer modelo compatível de mais de 30 provedores:

Python

from langchain.agents import create_agent
from langchain_openai import ChatOpenAI
from langchain_core.tools import tool
import os

@tool
def get_weather(location: str) -> str:
    """Get the current weather for a location."""
    return f"The weather in {location} is sunny and 72°F"

# Use Claude
claude_agent = create_agent(
    ChatOpenAI(
        model="anthropic/claude-sonnet-5",
        api_key=os.getenv("TOQAN_API_KEY"),
        base_url="https://router.toqan.ai/eu/v3/router",
    ),
    tools=[get_weather],
)

# Use Gemini
gemini_agent = create_agent(
    ChatOpenAI(
        model="google-ai/gemini-2.5-flash",
        api_key=os.getenv("TOQAN_API_KEY"),
        base_url="https://router.toqan.ai/eu/v3/router",
    ),
    tools=[get_weather],
)

result = claude_agent.invoke({"messages": [("user", "What's the weather in London?")]})
print(result["messages"][-1].content)

Observabilidade

As chamadas ao AI Gateway aparecem em Traces. Para capturar o fluxo da aplicação, use OpenTelemetry com um instrumentador de framework e o endpoint OTLP regional. Para Python, instale openinference-instrumentation-langchain e siga a configuração do OpenInference para LangChain, compatível com LangChain e LangGraph. Para Node.js, use OpenInference para LangChain.js. Configure o exportador conforme o guia de observabilidade:

export OTEL_EXPORTER_OTLP_ENDPOINT="https://router.toqan.ai/eu/v2/otel"
export OTEL_EXPORTER_OTLP_HEADERS="Authorization=Bearer $TOQAN_API_KEY"

Use a API do provedor diretamente ao exportar spans das mesmas chamadas, ou escolha qual camada rastrear para evitar traces duplicados.

Visão geral

Instrumente seu app

Explorar

Monitorar

Exportar

Revisar

Privacidade e segurança de dados

Integrações com frameworks

AI Gateway

Observabilidade

AI Gateway

Visão geral

Principais benefícios

Observabilidade completa

Confiabilidade integrada

Otimização de custos

Acesso a múltiplos provedores

Pré-requisitos

Instalação

Configuração

Exemplo básico de agente

Agente com várias ferramentas

Streaming

Seleção de modelo

Observabilidade

AI Gateway

Observabilidade

​AI Gateway

​Visão geral

​Principais benefícios

Observabilidade completa

Confiabilidade integrada

Otimização de custos

Acesso a múltiplos provedores

​Pré-requisitos

​Instalação

​Configuração

​Exemplo básico de agente

​Agente com várias ferramentas

​Streaming

​Seleção de modelo

​Observabilidade

AI Gateway

Visão geral

Principais benefícios

Pré-requisitos

Instalação

Configuração

Exemplo básico de agente

Agente com várias ferramentas

Streaming

Seleção de modelo

Observabilidade