Construindo interfaces de IA que não pesam na produção

Sabemos que integrar modelos de linguagem em aplicações traz uma série de trade-offs, principal mente no que diz respeito ao custo e desempenho. A questão é: até onde vale a pena investir na otimização para evitar impactos na experiência do usuário e na operação?