Problema com ORDER BY

Estou com um problema: Tenho um campo na minha tabela de produtos chamado "ordem" e lá é guardado um número para cada posição. Estou utilizando jquery para ordenar os dados (Qual produto vem antes de qual, clicando e arrastando).

O problema é que quando eu arrasto, o php salva o novo número da posição no campo "ordem" tudo certinho, o problema é que toda a lista é atualizada para a ordem deste último que foi arrastado, independente de que posição estava.

É algo no ORDER BY que não estou fazendo correto? Estou ordenando como ORDER BY ordem (independente de ser ASC ou DESC): Código Abaixo

<div id="contentLeft">
<ul>
<?php
$query = "SELECT produto.*, categoria.titulo AS cat FROM produto INNER JOIN categoria ON produto.categoria_idcategoria = categoria.idcategoria WHERE produto.categoria_idcategoria = '1' ORDER BY ordem";
$result = mysql_query($query);

while($row = mysql_fetch_array($result, MYSQL_ASSOC)) {

?>

<li id="recordsArray_<?php echo $row['idproduto']; ?>"><?php echo $row['idproduto'] . ". " . $row['nome']; ?></li>
<?php } ?>
</ul>
</div>