Pular para o conteúdo principal

Configurando um modelo no Azure AI Foundry

O Azure AI Foundry permite criar, configurar, ajustar e implantar o modelo nos ambientes da própria Azure.

Configuração da implantação

Um modelo da Azure é gerenciado no Azure AI Foundry e, portanto, não é controlado no AI Studio. Você pode decidir qual estratégia usar para o seu modelo no Azure AI Foundry ao criá-lo. Por exemplo, a região em que seu modelo ficará disponível é configurada ao criar o modelo. Para saber mais sobre as possibilidades do modelo, consulte a documentação do provedor em Documentação de implantações da Azure.

Filtragem de conteúdo

Com seu modelo em execução na Azure Cloud, a configuração do modelo não fica disponível no AI Studio. No entanto, essa configuração influencia o comportamento da sua Implantação quando chamada por meio do Toqan Router. A Azure oferece uma personalização avançada de filtragem de conteúdo, permitindo configurar seus parâmetros para conteúdo violento, de ódio, sexual e de automutilação. Para saber mais sobre filtragem de conteúdo, consulte a documentação do Azure AI Foundry.

Integrando modelos ao Toqan Router

Depois que seus modelos forem implantados e configurados na Azure, você poderá importá-los para o AI Studio.

Obtendo a Base URL e a chave de API no Azure AI Foundry

Suas credenciais ficam disponíveis diretamente na página inicial do Azure AI Foundry assim que você abre seu projeto. A chave de API e os endpoints Project endpoint e Azure OpenAI endpoint são exibidos na parte superior da página. O Toqan Router aceita qualquer um dos endpoints como Base URL e detecta o formato automaticamente:
  • Azure OpenAI endpoint (https://<resource>.openai.azure.com/openai/v1): importa as implantações compatíveis com OpenAI do recurso.
  • Project endpoint (https://<resource>.services.ai.azure.com/api/projects/<project>): importa implantações de todos os publicadores do projeto, incluindo Anthropic, Cohere e xAI.

Integrando modelos

Acesse o AI Gateway, clique no botão Model no canto superior direito da tela e selecione Azure. Insira a Base URL e a API Key e clique em Fetch deployments para importar automaticamente todas as implantações disponíveis do seu projeto do Azure AI Foundry. Depois de adicionado, o modelo ficará visível no AI Gateway. Quando o modelo estiver Enabled, ele ficará disponível para uso em Playground, Experiment, Deployment e Agent.