Problemas com Segurança

Boa Noite Gente

Estou com Grande problema.

Estou com um projeto 99,9% concluido mas esbarrei nessa falha que não consigo resolver. então gotaria de pedir a ajuda de voces pois só falta isso para encerrar o projeto.

o negosio e o seguinte

eu faço o upload de uma arquivo qualquer para a pasta /arquivos

e para o cliente fazer o download desse arquivo ele usa o ID do arquivo em vez do nome EX donwload.php?id=23983 ate ai tudo bem

o problema é que cliente não pode fazer o download acessado ele diretamente EX http://xxxxxxxx/arquivos/arquivo.xxx

o meu maior problema não é nem o download direto na verade, é que como qualquer arquivo pode ser upado, se o cliente fizer upload de um arquivo PHP malicioso por exemplo pode detonar tudo acessando o arquivo EX http://xxxx/arquivos/detona.php o navegador vai executar todos os comando.

eu já vi em alguns site que quando você acessa diretamente o arquivo você é direcinado para uma outra pagina mas não sei como fazer

se alguem poder pelomenos me dar um ponto de partida para a solução já ficarei muito grato.

vlw