O escritório do xerife de um condado nos Estados Unidos resgatou um grupo de trilheiros que seguiu orientações do Google Gemini para planejar a expedição. Segundo o comunicado oficial, o modelo recomendou que levassem "muito menos comida e água do que o grupo precisava". A operação de resgate aconteceu depois que os participantes começaram a apresentar sinais de desidratação e exaustão.
O Google não comentou o caso publicamente até o fechamento da reportagem. O incidente acontece dois meses depois que a empresa adicionou avisos mais explícitos sobre a possibilidade de respostas imprecisas em temas relacionados à saúde e segurança, mas sem bloquear esse tipo de consulta.
Ninguém vai colocar aviso de "não use para decisões críticas" que funcione de verdade
Quem opera sistema de IA em produção sabe que o usuário final ignora disclaimer. Se o modelo responde, ele confia. Se a interface parece um assistente, ele trata como assistente. A arquitetura de um LLM não diferencia pergunta casual de pergunta onde erro mata, e o treinamento atual não garante calibração de confiança em domínios de risco.
O caso força a pergunta que importa: até onde vai a responsabilidade de quem oferece a ferramenta? Modelos generalistas como Gemini, GPT ou Claude operam no regime de "melhor esforço", sem garantia de precisão. Mas a experiência de uso não comunica isso com clareza suficiente. Para quem constrói agentes, o recado é direto: se o domínio envolve segurança, saúde ou dinheiro de terceiros, validação humana ou restrição de escopo deixam de ser opcionais. A alternativa é assumir o risco de processar um resgate, literal ou judicial.