Servidor não aguenta usuários online

Tenho um site que está tendo em média 3000 visitas simultâneas (quero estar preparado para +10000, porque em 2 meses eu conseguirei isto). E a tendência é só crescer.. Olha as configurações do dedicado:

Processor: 1 x Intel Xeon E3-1230v3
RAM: 2 x 8 GB - ECC Buffered RAM
Hard Drive: 1 x 1 TB - WD RE4
Raid Controller: Software RAID
Supported Raid Levels: None - Additional HDD Required
Network Uplink: 100 Mbps

O site roda limpo, fecha conexões sempre, código otimizado, etc.. Na madrugada fica perfeito, carregando em questão de 1seg, pois tenho em média 300 online..

Preciso melhorar as configurações do dedicado?

Como devo configurar o Prefork, olha o atual:

<IfModule mpm_prefork_module>
ServerLimit 300
StartServers 300
MinSpareServers 100
MaxSpareServers 300
MaxClients 300
MaxKeepAliveRequests 100
MaxRequestsPerChild 5000
</IfModule>

Obrigado!