Imagem PHP carrega toda vez que atualiza página!

Fala imasters!

Faz um bom tempo que eu não venho aqui, mas agora to precisando da ajuda de vocês =(!

Eu tenho um script em PHP, que lê o conteúdo de uma certa imagem, e manda pro browser.

O arquivo é apenas assim:

<?php
 header("Content-Type: image/jpeg; name=imagem.jpg");
 readfile("images/imagem.jpg");
?>

O problema, é que diferente de uma imagem que se acessa normalmente (site.com/images/imagem.jpg), ele acessa e mostra ela pelo PHP (site.com/imagens.php?file=imagem.jpg). Então, toda vez que você atualiza a página, ele recarrega a imagem toda de novo, ao invés de salvar ela no cache, e não precisar ficar carregando toda hora que o browser atualiza a página, uma vez que já carregou a imagem uma outra vez.

Alguém pode me ajudar?