Cake Php demorando para carregar paginas simples

Intalei e configurei o cakephp no servidor ubuntu 10.10, ele esta funcionando bem, porem o problema é que demora 4 segundos para carregar qualquer pagina, até mesmo a home do cake. Creio que seja alguma falta de permisão as pastas do cache porque as configurações do cake estam todas corretas. Fico grato se alguem me ajudar.