Em 18 de setembro de 2026, o TechCrunch AI publicou que uma alucinação de um modelo de linguagem quase levou as Forças Armadas dos EUA a iniciar uma operação. O caso envolveu uma saída errada do sistema que foi interpretada como sinal acionável, antes de um humano barrar a execução.
Um pesquisador do GovAI citado na reportagem alertou que militares precisam entender a incerteza inerente aos LLMs. A matéria não detalha qual força, o tipo de operação ou o modelo usado.
Sem dupla checagem e botão de pausa, sua IA vai te expor
Em produção, texto de LLM não pode virar ação direta. Coloque gates. Toda decisão com impacto externo precisa de duas fontes independentes e de preferência não correlacionadas, de preferência dados assinados ou telemetria, não outro LLM. Vote cruzado entre modelos ajuda, mas não substitui confirmação fora do domínio de linguagem.
Arquitetura muda. Saída deve ser estruturada, com campo de confiança explícito e opção de abstenção. Use RAG com fontes autenticadas, validação determinística por regras, e state machines que só permitem transições seguras. Aja via ferramentas com contratos rígidos, não por texto livre. Logue tudo, preserve prompts e versões, faça red team contínuo e avalie alucinação sob carga real.
Custo e prazo sobem, e é o preço certo. Redundância, validação e aprovação humana aumentam latência e consumo, mas reduzem risco operacional e jurídico. Para fluxos críticos, implemente uma two-person rule digital e políticas de kill switch. Para assistentes de atendimento, o impacto é menor, mas vale a mesma disciplina: abstenção preferível a chute, limites de escopo, e bloqueio de ações financeiras sem verificação fora do LLM.