Como Netflix está enfrentando o desafio de servir grandes modelos de linguagem na produção

Netflix compartilhou sua experiência na implementação de uma plataforma interna para inferência de modelos de linguagem grandes, usando Triton e vLLM. O que chama atenção é a diversidade de tamanhos de modelos e a necessidade de hardware cada vez mais potente.