Pular para o conteúdo principal
Use modelos privados junto com modelos públicos por meio do mesmo endpoint do AI Gateway. Modelos privados são úteis quando você tem modelos ajustados (fine-tuned), implantações dedicadas ou inferência auto-hospedada que devem permanecer sob sua infraestrutura e seus contratos com provedores.

​
Fontes de modelos privados compatíveis

Compatível com OpenAI

Adicione modelos de qualquer endpoint que implemente a API da OpenAI, incluindo implantações auto-hospedadas e privadas.

Azure AI Foundry

Importe implantações de modelos compatíveis com OpenAI e de publishers a partir de um projeto do Azure AI Foundry.

AWS Bedrock

Adicione modelos usando perfis de inferência do Amazon Bedrock.

LiteLLM

Importe modelos auto-hospedados ou personalizados expostos pela sua instância do LiteLLM.

​
Adicionar um modelo privado

1

Abra Models

Na barra lateral do AI Gateway, abra Models e selecione Model.
2

Conecte o provedor privado

Selecione OpenAI Compatible, Azure, AWS Bedrock ou Import from LiteLLM e siga as instruções para essa fonte.
3

Importe e habilite os modelos

Importe ou adicione os modelos que serão expostos e habilite cada modelo que deve ficar disponível pelo AI Gateway.
4

Roteie as requisições

Referencie um modelo importado como <workspace>@<provider>/<model>.
Os modelos privados habilitados ficam disponíveis para requisições por meio de regras de roteamento.

Gerenciar todos os modelos

Habilite modelos, filtre por funcionalidade e região e controle o acesso aos modelos por projeto.

​
Compatível com OpenAI

Escolha esta fonte para qualquer endpoint que implemente a API da OpenAI, incluindo servidores de inferência auto-hospedados e gateways privados. Para os campos de configuração, consulte Modelos compatíveis com OpenAI.