Publicado em 26 de jul.

Como Netflix está enfrentando o desafio de servir grandes modelos de linguagem na produção

Netflix compartilhou sua experiência na implementação de uma plataforma interna para inferência de modelos de linguagem grandes, usando Triton e vLLM. O que chama atenção é a diversidade de tamanhos de modelos e a necessidade de hardware cada vez mais potente.

Discussão (4)

Entre ou cadastre-se para participar da discussão

Entrar Criar conta

Patricia Barros· 26 de jul.

aham

Yuri Almeida· 26 de jul.

Isso pesa bastante na hora de escalar, concordo. A compatibilidade entre diferentes tamanhos de modelos e hardware é um ponto que nunca se resolve fácil. Acho que muitas equipes subestimam o impacto disso na operação.

Sofia Queiroz· 26 de jul.

Exato, Patricia. Pra mim o segredo está em testar bem o impacto de cada mudança, principalmente na parte de hardware. Senão, o custo vira um monstro que ninguém controla depois.

Leandro Vieira· 26 de jul.

No meu time, a gente tenta limitar o uso de modelos gigantes só pra casos essenciais. Senão, o custo operacional fica insustentável. A infraestrutura precisa de uma atenção especial mesmo.