IBM Research e Hugging Face publicaram um estudo sobre como medir se agentes de IA repetem um acerto em novas execuções e variações leves da tarefa. O trabalho apresenta o ALTK-Evolve Consistency, um conjunto de testes e métricas abertas para avaliar estabilidade de agentes entre rodadas e com pequenas mudanças de contexto.
A equipe mostra que muitos agentes aprovam uma vez e falham em tentativas seguintes no mesmo problema ou em versões quase idênticas. O pacote vem com código e benchmark para padronizar essa checagem de consistência, além de resultados que expõem alta variância em pipelines de agente populares.
Avaliar uma vez não basta, precisamos de taxa de acerto sustentada
Para quem roda agente com cliente real, o recado é direto: não dá para promover modelo ou fluxo de ferramentas com base em uma execução bem-sucedida. O critério vira taxa de sucesso em múltiplas rodadas e em variações controladas da tarefa. Isso mexe no pipeline de QA, que passa a pedir N execuções por caso, com seeds diferentes e prompt perturbado, e gate de promoção por intervalo de confiança, não por média única.
Isso aumenta custo de avaliação, mas reduz incidentes em produção. Planeje budget para testes em lote, amostragem contínua em canário e monitoramento de drift de consistência por tarefa. Em produção, use retries conscientes, diversidade de planos, votação simples quando o custo permite e limites de tempo bem definidos. Logue tudo, inclusive seed, versão de ferramenta e estado do ambiente, para reproduzir falhas intermitentes.
Arquiteturalmente, padronize efeitos aleatórios: wrappers determinísticos para ferramentas, controle de temperatura, caches estáveis e isolamento de side effects. Incorpore testes com tarefas levemente evoluídas na esteira de regressão para evitar overfitting de prompt. O ganho prático é previsibilidade mensurável, SLAs de taxa de sucesso mais honestos e menos surpresas quando o agente sai do laboratório para o WhatsApp do cliente.