Apache está engasgando com 2500+ usuarios simultâneos

Olá pessoal!

Estou com um abacaxi bem grande para descascar com o Apache, não sei mais o que fazer.

Tenho o seguinte VPS no vps.net:

21ghz cpu

7400mb memória

1gbps na distribuição

Linux Debian x64 LAMP

O Apache Worker está da seguinte forma:

KeepAlive On
MaxKeepAliveRequests 0
KeepAliveTimeout 1

<IfModule mpm_worker_module>
MaxClients 4000
ThreadsPerChild 50
ServerLimit 80
</IfModule>

Toda rodada do brasileirão, na hora dos jogos, o pico de acessos do blog é bastante incrementado.

O problema é quando o número de acessos simultâneos está alto. Estou utilizando como contador o whos.amung.us.

Quando está em 2500+ começa a engasgar.

Digamos, de cada 5 requisições no browser, 3 dá 404 e 2 renderiza o site após 10 segundos.

O uso de memória naquele momento nunca ultrapassa 1400mb.

Alguma idéia???