Upload de arquivos PHP

Pessoal, boa tarde,

Estou com um problema que não sei bem o que esta acontecendo, permissão não é pois já me certifiquei de dar todas as permissões para os arquivos no servidor.

O que acontece é o seguinte:

Exite um script em PHP onde eu faço o upload de um determinado arquivo, gero um nome para esse arquivo e salvo no banco, depois eu só aponto para a imagem do usuário logado usando como referencia o path da imagem que ele subiu.

O problema é que eu não consigo deletar ou mover as imagens no servidor quando o usuário faz upload de outra imagem.

Consigo fazer upload e alterar a foto normalmente, tanto local quanto no meu servidor, porém quando eu tento remover ou mover, funciona apenas local, no servidor ele apenas adiciona uma nova imagem e mantém a antiga.

Já tentei usar "rm" através do exec, rename e unlink, mas nada disso deu certo.

Alguma ideia do que pode estar acontecendo?

Abraços