Vários hardware's rodando a nuvem (na prática, tem como?)

Tenho visto um bafafá enorme sobre o tal do Clound Computing, últimos tempos até o Ubuntu Server entro na moda, mas oq até agora não consegui entender, é como isto funciona na prática.

Por exemplo:

tenho 3 servidores, interligados por fibra óptica, e 1 servidor para storage via NFS, como eu faço para transformar dos 3 a tal da "nuvem”, e como posso conseguir redundância com eles(se uma delas parar como a outra vai assumir automaticamente[isso existe na prática ou é só mais uma lenda urbana?]), qual o software? é preciso hardware especifico para essa redundância ocorrer?

Já li bastante sobre o vSphere, ESXi, Xen, mas não consigo chegar a respostas das minhas perguntas.