Um repórter do The Verge decidiu usar IA local no dia a dia. Ele rodou modelos como Hermes e Qwen em um Mac Studio e documentou a experiência. A motivação foi clara, evitar enviar dados pessoais para a nuvem e testar até onde os modelos locais já chegam.
O diário mostra um misto de entusiasmo e frustração. Os modelos funcionam e ajudam, mas há atritos na instalação, escolha de pesos e ajustes de desempenho. A peça descreve avanços reais, porém com curva de aprendizado e limites práticos ainda visíveis.
Privacidade melhora, mas você paga em setup, tuning e limites de hardware
Para quem opera IA com cliente real, a mensagem é pragmática. Local entrega privacidade e latência estável, porém cobra com setup, curadoria de modelos e quantização. Em Mac, a conta fecha para protótipo e uso pessoal. Para produção, a escala pede GPU com CUDA, monitoramento e orquestração maduros.
O custo não some, muda de lugar. Você troca taxa de API por CAPEX em máquina, energia e tempo de engenharia. Se a carga é constante e previsível, rodar perto do dado pode compensar. Se a demanda é elástica, a nuvem ainda simplifica.
Arquitetura precisa refletir esses trade offs. Edge ou on prem para dados sensíveis e cache local de prompts quentes. Núcleo na nuvem para picos, avaliação e fallback. Mantenha mix de modelos e versões, porque quantização e contexto curto derrubam qualidade em tarefas longas. No curto prazo, útil para POCs e fluxos offline. Para atendimento em WhatsApp ou compra de mídia, local só entra onde compliance exige ou onde a fila é estável.