Desvendando Gargalos em Rate Limiters: Experiências Práticas em Node.js

Fala, comunidade!

Tenho trabalhado em um projeto que envolve uma API com alto tráfego e a necessidade de implementar um mecanismo robusto de limitação de requisições (rate limiting). Recentemente, nos deparamos com alguns comportamentos inesperados na nossa implementação em Node.js, que inicialmente pareciam sutis, mas causaram impactos significativos na performance e na confiabilidade.

Queria compartilhar alguns desses 'bugs' que encontramos e como os resolvemos, na esperança de que sirva de aprendizado para outros. Em vez de focar apenas na teoria, vamos direto ao ponto: :

1. Acumulação de Janelas de Tempo: Percebemos que, em cenários de pico, as janelas de tempo não estavam sendo tratadas corretamente, levando a uma contagem de requisições mais alta do que o esperado por períodos curtos. A solução envolveu um ajuste fino na lógica de expiração das chaves no cache.
2. Condições de Corrida (Race Conditions) em Múltiplas Instâncias: Em um ambiente com várias instâncias do serviço rodando, a falta de um mecanismo atômico para verificar e atualizar o contador de requisições resultou em condições de corrida. Implementamos um lock distribuído para garantir atomicidade.
3. Impacto de Garbage Collection: Descobrimos que o ciclo de garbage collection do Node.js, em momentos de alta alocação de memória, estava causando pequenas pausas que afetavam a precisão do rate limiter. Otimizamos a forma como as estruturas de dados eram gerenciadas para minimizar a pressão sobre o GC.
4. Testes Insuficientes de Limites Extremos: A maior falha, em retrospecto, foi a falta de testes que simulassem cenários de carga extrema e com muitos usuários simultâneos. Isso mascarou os problemas por muito tempo.

Como vocês lidam com a complexidade de rate limiters em ambientes de produção? Quais ferramentas ou abordagens vocês recomendam para monitorar e depurar esses componentes críticos?