Integração com o framework LangChain

AI Gateway

Roteie suas chamadas de LLM pelo AI Gateway alterando apenas a base URL. Sem dependência de fornecedor: use sempre o melhor modelo pelo menor custo para o seu caso de uso.

Observabilidade

Use OpenInference e OpenTelemetry para capturar traces do LangChain e do LangGraph.

AI Gateway

Visão geral

O LangChain é um framework para criar aplicações com LLMs por meio de chains combináveis, agentes e integrações com fontes de dados externas. Ao conectar o LangChain ao AI Gateway do Toqan Router, você acessa mais de 500 modelos alterando apenas a base URL.

Principais benefícios

O AI Gateway do Toqan Router aprimora suas aplicações LangChain com:

Observabilidade completa

Acompanhe cada etapa de chain, uso de ferramenta e chamada de LLM com traces detalhados

Confiabilidade integrada

Fallbacks automáticos, novas tentativas e balanceamento de carga para resiliência em produção

Otimização de custos

Acompanhamento de custos em tempo real e gestão de gastos em todas as suas operações de IA

Acesso a múltiplos provedores

Acesse mais de 500 LLMs e mais de 30 provedores por meio de uma integração única e unificada

Pré-requisitos

Antes de integrar o LangChain ao Toqan Router, certifique-se de ter:

Uma conta no Toqan Router e uma chave de API
Python 3.8 ou superior

Para configurar sua chave de API, consulte Chaves de API e endpoints.

Instalação

pip install langchain langchain-openai

Configuração

Configure o LangChain para usar o AI Gateway do Toqan Router via ChatOpenAI com uma base_url personalizada:

Python

from langchain_openai import ChatOpenAI
import os

llm = ChatOpenAI(
    model="openai/gpt-5.6-sol",
    api_key=os.getenv("TOQAN_API_KEY"),
    base_url="https://router.toqan.ai/eu/v3/router",
)

base_url: https://router.toqan.ai/eu/v3/router

Exemplo básico

Python

from langchain_openai import ChatOpenAI
import os

llm = ChatOpenAI(
    model="openai/gpt-5.6-sol",
    api_key=os.getenv("TOQAN_API_KEY"),
    base_url="https://router.toqan.ai/eu/v3/router",
)

result = llm.invoke("Explain quantum computing in simple terms.")
print(result.content)

Chains

Crie chains combináveis usando o operador pipe do LangChain:

Python

from langchain_openai import ChatOpenAI
from langchain_core.prompts import ChatPromptTemplate
import os

llm = ChatOpenAI(
    model="openai/gpt-5.6-sol",
    api_key=os.getenv("TOQAN_API_KEY"),
    base_url="https://router.toqan.ai/eu/v3/router",
)

prompt = ChatPromptTemplate.from_messages([
    ("system", "You are a helpful assistant."),
    ("user", "{input}"),
])

chain = prompt | llm
result = chain.invoke({"input": "Tell me a joke about programming."})
print(result.content)

Streaming

Python

from langchain_openai import ChatOpenAI
import os

llm = ChatOpenAI(
    model="openai/gpt-5.6-sol",
    api_key=os.getenv("TOQAN_API_KEY"),
    base_url="https://router.toqan.ai/eu/v3/router",
)

for chunk in llm.stream("Write a short poem about the ocean."):
    print(chunk.content, end="", flush=True)
print()

Seleção de modelo

Com o Toqan Router, você pode usar qualquer modelo compatível de mais de 30 provedores:

Python

from langchain_openai import ChatOpenAI
import os

# Use Claude
claude = ChatOpenAI(
    model="anthropic/claude-sonnet-5",
    api_key=os.getenv("TOQAN_API_KEY"),
    base_url="https://router.toqan.ai/eu/v3/router",
)

# Use Gemini
gemini = ChatOpenAI(
    model="google-ai/gemini-2.5-flash",
    api_key=os.getenv("TOQAN_API_KEY"),
    base_url="https://router.toqan.ai/eu/v3/router",
)

# Use Groq
groq = ChatOpenAI(
    model="groq/qwen/qwen3.8-27b",
    api_key=os.getenv("TOQAN_API_KEY"),
    base_url="https://router.toqan.ai/eu/v3/router",
)

Observabilidade

As chamadas ao AI Gateway aparecem em Traces. Para capturar o fluxo da aplicação, use OpenTelemetry com um instrumentador de framework e o endpoint OTLP regional. Para Python, instale openinference-instrumentation-langchain e siga a configuração do OpenInference para LangChain, compatível com LangChain e LangGraph. Para Node.js, use OpenInference para LangChain.js. Configure o exportador conforme o guia de observabilidade:

export OTEL_EXPORTER_OTLP_ENDPOINT="https://router.toqan.ai/eu/v2/otel"
export OTEL_EXPORTER_OTLP_HEADERS="Authorization=Bearer $TOQAN_API_KEY"

Use a API do provedor diretamente ao exportar spans das mesmas chamadas, ou escolha qual camada rastrear para evitar traces duplicados.

Visão geral

Instrumente seu app

Explorar

Monitorar

Exportar

Revisar

Privacidade e segurança de dados

Integrações com frameworks

AI Gateway

Observabilidade

AI Gateway

Visão geral

Principais benefícios

Observabilidade completa

Confiabilidade integrada

Otimização de custos

Acesso a múltiplos provedores

Pré-requisitos

Instalação

Configuração

Exemplo básico

Chains

Streaming

Seleção de modelo

Observabilidade

AI Gateway

Observabilidade

​AI Gateway

​Visão geral

​Principais benefícios

Observabilidade completa

Confiabilidade integrada

Otimização de custos

Acesso a múltiplos provedores

​Pré-requisitos

​Instalação

​Configuração

​Exemplo básico

​Chains

​Streaming

​Seleção de modelo

​Observabilidade

AI Gateway

Visão geral

Principais benefícios

Pré-requisitos

Instalação

Configuração

Exemplo básico

Chains

Streaming

Seleção de modelo

Observabilidade