Bug com unset() em um for

Galera, estou tentando apagar índices de arrays que estejam vazios.
Então usei o unset() para eliminar esses índices, até determinado ponto ele deleta depois não deleta mais.

exemplo em um array de 20 itens onde 17 estão vazios ele só apaga 11. Isso foi um teste q fiz com array criado manualmente.

Já tiveram algum problema parecido com unset() dentro de um for?

trecho do for...

for($j=0; $j < count($ativos); $j++)
{
if(count($ativos[$j]['ATIVOS'])===0){

 unset($ativos[$j]);
 echo "Apagou $j<br>";
 }
 }