Demora na pesquisa demais, até doi!

Gente, estou tendo um problema, uso um servidor que é um pentium III 550 Mhz com 364 MB RAMmas ao acessar o banco de dados de fãs de um artista cadastrados que tem mais de 2 GB, pasmem!Quando efetuo SELECT normalmente para selecionar um fã, a lentidão dependendo é absurda, chegando deixar o servidor quase travado, setemos LIMIT para 51 e até 4 e mesmo assim o banco fica lento demais, tambem usei explain e esse me fez retornar tudo em branco, alguém saberia me dizer oque eu devo fazer em termos de sintaxe Mysql para acelerar isso tudo?