Servidor de manipulação de imagens com biblioteca GD2

Boa noite galera.

Estou desenvolvendo um portal de notícias onde eu quero aplicar a mesma técnica de grandes portais da internet (G1, Globo.com, UOL, iG, etc) que é usar um servidor para a manipulação das imagens.

Exemplo do G1:

s2.glbimg.com/EFi1L7IkXF76mIRA4KKxdcoX3KM=/0x108:620x356/300x120/s.glbimg.com/jo/g1/f/original/2014/05/06/1424_1_preview.jpg

A linha destacada em vermelho leva os parâmetros de corte em distancia X e Y, o tamanho relativo ao tamanho original e o tamanho de saída. A linha destacada em azul é o caminho da imagem original.

Isso eu consegui fazer usando.htaccess, e a biblioteca WideImage. Funcionou, perfeitamente. Agora só estou fazendo alguns ajustes finais. Vocês podem ver funcionando aqui http://s2img.diancarlos.com.br/aspect-tester.php, observem o código fonte, como eu chamo as imagens.

Eu acho isso muito interessante, pois não vou precisar salvar várias miniaturas das imagens, e também possibilita um crop personalizado usando jCrop em qualquer área da imagem.

Só que fico preocupado com o desempenho do servidor quando o site estiver sendo muito acessado, pois as imagens são manipuladas na memoria do PHP. Podem observar que o G1 e demais sites que usam essa técnica, não usam o domínio original, no caso do G1, eles usam s2.glbimg.com, e s.glbimg.com, eles fazem isso por algum motivo, acho que deve ser desempenho mesmo.

Mas esses sites usam imagens gigantescas para a manipulação, eu, na hora do upload iria redimensionar ela para um tamanho mínimo (800x600).

Então galera, quero saber o que vocês acham disso, se isso vai realmente fazer o servidor ficar lerdo ou até cair.

Isso não pode acontecer de maneira alguma, mas se tiver risco, o que eu posso fazer? Usar uma hospedagem separada ou dedicada?

Desde já, agradeço a todos.