Monitorar modelos de IA locais é mais difícil do que parece

Ao montar um stack de observabilidade para Claude Code, percebi que mesmo com uma configuração básica, o feedback era lento e cheio de gaps. Fazer logs, traces e verificar tokens consumidos não é simples, especialmente quando você quer uma visão clara do impacto no custo e na performance.

No meu time, a maior dificuldade é garantir que o monitoramento seja rápido, confiável e reversível. Usar MCPs para isso ajuda, mas ainda assim, a implementação fica cheia de detalhes que podem passar despercebidos.

A questão é: como criar uma infraestrutura que seja ao mesmo tempo leve, detalhada e fácil de ajustar? Acredito que a chave está em automatizar testes pequenos e garantir que cada mudança seja reversível, especialmente no contexto de modelos que evoluem rapidamente. Sem esse critério, a solução pode parecer simples no começo e cara no suporte. O valor aparece melhor quando operação, produto e engenharia olham para o mesmo risco.

Faz sentido pensar em soluções que priorizem a velocidade de feedback, ao invés de uma análise pesada que só vai atrasar a correção? Ou vocês acham que, no fundo, é um tradeoff inevitável?