Pesquisadores do Allen Institute for AI publicaram no blog da Hugging Face o BenchMIRT, um método e toolkit para avaliar benchmarks de LLM com teoria de resposta ao item. A abordagem estima dificuldade e poder de discriminação de cada questão e extrai habilidades latentes dos modelos a partir de acertos por item.
O grupo analisou conjuntos populares de avaliação de LLM e mostrou onde os testes medem a mesma coisa, onde já saturaram e onde ainda discriminam entre modelos. O código e os parâmetros estimados foram liberados em aberto, o que permite reproduzir e ampliar as análises em novos modelos e tarefas.
Benchmarks genéricos não servem para decisões de produção
Se você roda IA com cliente real, placar agregado de benchmark pode estar te enganando. Muitos testes colapsam em uma ou duas habilidades latentes e já não separam bem modelos no topo. Resultado alto em um pacote genérico não garante desempenho no seu funil. Use a lente do MIRT para escolher itens que discriminam no nível de habilidade que importa para o seu caso e para montar painéis por competência, não só média geral.
Na prática, isso muda a engenharia de avaliação. Inclua um passo de calibração dos seus próprios itens com base em logs de produção. Estime dificuldade e discriminação por tarefa crítica, revise periodicamente e retire itens saturados. Para roteamento entre modelos, treine com competências latentes, não só com datasets rótulo. O custo sobe um pouco no início, porque você precisa coletar respostas item a item e rodar a calibração. Depois cai, já que você reduz o número de itens mantendo o poder de decisão.
Risco de prazo e de contrato diminui quando a métrica alinha com o trabalho real. Você evita overfitting a testes de vitrine e detecta regressão cedo. Se não há como adotar MIRT agora, já vale auditar seus benchmarks: quais itens ainda discriminam, quais repetem a mesma habilidade, onde há saturação. Ninguém precisa migrar de modelo por causa disso hoje, mas quem continuar medindo errado vai pagar com churn e tickets abertos.