O que são Alerts
Os Traces registram o que aconteceu. Os Alerts avisam quando aconteceu, sem que ninguém precise olhar. Um Alert monitora uma métrica em um Project, em uma programação escolhida, e envia uma notificação no momento em que essa métrica ultrapassa um limite definido. Uma segunda notificação é enviada quando a métrica se recupera. A coluna Recent runs exibe o histórico de avaliações de cada alerta como uma faixa de barras, mostrando rapidamente se ele vem sendo avaliado sem problemas ou se está violando o limite.O que os Alerts podem monitorar
Cada Alert monitora uma única métrica. Em geral, os alertas se enquadram em quatro categorias:Custo suspeito
Identifique picos de gastos antes da fatura. Um loop de novas tentativas
descontrolado, um prompt que cresceu ou a troca por um modelo mais caro
aparecem em poucos minutos.
Latência incomum
Monitore a latência média ou p95. A degradação de provedores e chamadas
lentas de ferramentas aparecem aqui muito antes de serem registradas como erros.
Resultados de guardrails
Monitore a taxa de aprovação ou a pontuação média dos guardrails. Uma queda
significa que o modelo começou a produzir saídas rejeitadas pelas
verificações, o primeiro sinal disponível de que a qualidade piorou.
Erros
Monitore a contagem de solicitações com falha ou a taxa de erros, com
escopo em um provedor, modelo ou Deployment.
As execuções de Experiment são excluídas dos cálculos de alertas, portanto
os dados de experimentos não contribuem para os limites dos alertas.
Criar um Alert
- AI Studio
- API / SDK
1
Abra Alerts
Abra Alerts na seção Observability da barra lateral e escolha + Alert.
2
Dê um nome ao alerta
Insira um Name que descreva o problema, e não a métrica.
High spend on production é mais claro do que cost alert. Os nomes devem ser únicos dentro do workspace.Adicione uma Description opcional e confirme o Project. Um Alert pertence a exatamente um Project, e o Project não pode ser alterado após a criação.3
Escolha uma métrica
Escolha uma Metric no menu suspenso, agrupada em Usage e Guardrails. O padrão é
LLM cost, e o signal armazenado é derivado da métrica.Uma métrica de Guardrails adiciona um seletor de guardrails abaixo do menu suspenso. Deixá-lo vazio abrange todos os guardrails do Project. Selecionar Guardrails específicos limita o alerta a eles.4
Defina a condição
A condição é lida como uma única frase: acionar quando o valor estiver [comparador] [limite] nos últimos [janela], verificado [frequência].Consulte Opções de condição para ver o conjunto completo de valores e observe que os limites são inseridos na unidade de cada métrica.
5
Restrinja o escopo com filtros
Sem filtros, o Alert avalia a métrica em todo o Project. Os filtros o restringem a um recorte específico. Esta etapa é opcional. Consulte Filtros.
6
Escolha para onde notificar
Em Notify via, selecione um ou mais Notifiers, até 10 por Alert. Notifiers são destinos reutilizáveis para e-mail, Slack ou webhooks genéricos, gerenciados em Settings > Notifiers. Consulte Notifiers para ver os canais e seus campos, ou crie um diretamente no formulário.Os Notifiers são opcionais. Um Alert sem nenhum continua avaliando e registrando seus acionamentos, mas não notifica ninguém.
7
Confira a pré-visualização e salve
O painel à direita plota a métrica em 1h, 4h, 1d ou 7d junto com a consulta resolvida e a configuração armazenada. Results se divide em Overview, Query e Config: Overview mostra Status, Next run e Type, e Config repete Threshold, Range, Frequency, Delay e Notifiers. Delay aparece como 30 seconds na pré-visualização. Use-a para conferir o limite com tráfego real antes de confirmar. Um limite que nunca foi ultrapassado é tão inútil quanto um que dispara o tempo todo.Escolha Create Alert. Novos Alerts são habilitados imediatamente.
Opções de condição
Os limites são inseridos na unidade de cada métrica:
Filtros
No AI Studio, os filtros usam os operadoresis e is not nos seguintes campos:
provider, model, identity, agent, deployment, evaluator, evaluator name
A API aceita os operadores eq, neq, in e not_in nos filtros de alertas; consulte a referência de criação de alertas.
Cada grupo de filtros usa um único campo e um único operador. Um Alert pode ter até 18 filtros, ou 16 em genai.evaluator.score.avg.
Ciclo de vida do Alert
Um Alert é executado na frequência de verificação definida e assume um de três status:
Uma violação abre um trigger, um registro de incidente que permanece aberto até a métrica se recuperar e então é fechado como
resolved. Se a métrica parar de ser reportada por completo, o trigger é resolvido automaticamente depois que uma janela de avaliação completa mais o atraso de ingestão passam sem dados, e a próxima violação abre um novo incidente. Isso é importante para métricas que só são reportadas enquanto algo está em execução, como os Evaluators. As notificações são enviadas duas vezes por incidente: uma quando o trigger é aberto e outra quando ele é resolvido. Não há intervalo de notificação repetida, portanto um incidente prolongado não vai lotar uma caixa de entrada.
Cada trigger mantém suas evidências, incluindo o valor avaliado, o limite ultrapassado e as execuções que levaram até ali, o que permite ir de uma notificação até os Traces que a causaram.
Gerenciar Alerts
- AI Studio
- API / SDK
Na lista de Alerts:
- Habilite ou desabilite um Alert. Um Alert desabilitado deixa de ser avaliado, mas mantém seu histórico de triggers.
- Duplique um Alert como ponto de partida para uma variante. As cópias são criadas desabilitadas, o que permite ajustar o limite antes que ele dispare.
- Edite qualquer campo, exceto o Project.
- Exclua um Alert junto com seu histórico.
Limites do plano
O número de Alerts e a frequência mínima de verificação dependem do plano ativo:
Salvar um Alert com uma frequência abaixo do mínimo do plano retorna
evaluation interval 5m is below your plan's minimum of 1h0m0s.
Próximos passos
Traces
Investigue as solicitações por trás de um trigger.
Automations
Aja automaticamente sobre os traces correspondentes em vez de apenas notificar.