Servidor web CASEIRO fica muito lento ?

Digamos que eu monte um Servidor Web com boa qualidade:

- Placa-mãe para 2 processadores Xeon;

- Memória RAM Triple Channel (DDR3 1.333MHz) num total de 192GB;

- HD's SAS ou SCSI funcionando em RAID;

Esse me parece um servidor com alto poder de processamento, ideal para um site que estou terminando, onde "o PHP" vai trabalhar MUITO.

Bom, ele deve aguentar (por um bom tempo) a demanda de processamento. Não quero que o meu site trave porque "a máquina é fraca". Até ai tudo bem, o problema é que eu quero deixar esse servidor em casa e pelo o que eu fiquei sabendo o site vai travar porque a minha Internet é fraca. Parece que a largura de banda que tenho aqui "se divide" entre todas as pessoas que acessam meu site, sendo assim seria possível +- calcular o número de acessos máximo que o meu site poderia ter com base na minha largura de banda. Isso procede ? Alguém sabe como calcular isso ?