for e array :/

Olá galera, venho mais uma vez pedir um help a vocês.

Bom o que acontece comigo é que tenho uma variável que me retorna um conjunto de números separados por virgula:

<?php
$variavel ="1,2,3,4,5"
?>

ta ate ai tudo bem! esta variável vem de uma consulta no banco de dados.

Gostaria de saber de alguma maneira de separar e transformar cada numero dessa variavel em um loop.

Ex: tenho 1,2,3,4,5 teria que ser possível no caso gerar um loop que seria executado 5 vezes e cada vez que ele for executado me passasse o valor do numero separadamente

Exemplo do que eu pretendo fazer com issto:

<?php
$variavel ="1,2,3,4,5";
 $consulta = mysql_query("SELECT * FROM usuarios WHERE id = "$VALOR_VINDO_ARRAY");
?>

No caso teria que repetir a minha consulta 5 vezes procurando pela id 1 2 3 4 5.

tentei fazer usando as funçoes array(); for();
mais não consegui muito resultado.

Desde já agradeço a ajuda de todos e deixo aqui um forte abraço!