Google não consegue acessar o site

[paulolinharesdesign 0]

Estou enfrentando uma dificuldade com este domínio, www.schaly.com.br

Estou recebendo mensagens do Google dizendo que não consegue acessar o site.

"Your site's overall robots.txt error rate is 100.0%."

O antigo webmaster não havia configurado corretamente as preferências de domínio, com www e sem www e haviam algumas páginas duplicadas. O problema ocorreu quando o site foi atualizado e configurado as preferências de domínio.

Vejas aqui as ações que já foram realizadas.

- O arquivo robots.txt está configurado para não bloquear nenhuma url e acessível (HTTP status 200)

User-agent: *
Disallow:
Sitemap: http://www.schaly.com.br/sitemap.xml


- O arquivo .htacess tem apenas 2 configurações, redirecionamento 301 de schaly.com.br para www.schaly.com.br e url amigável

<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /

#redirecionar sem www para com www
RewriteCond %{HTTP_HOST} ^schaly.com.br$ [NC]
RewriteRule ^(.*)$ http://www.schaly.com.br/$1 [L,R=301]

#url amigavel, se nao for arquivo ou diretorio, ir para o index.php
RewriteRule ^index\.php$ - [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]
</IfModule>

- Já confirmei a propriedade no Google Webmaster Tools (GWT) nos 2 domínios (sem e com www) e configurei como preferência com www

- Já acessei o GWT (com www) -> Rastreamento -> Buscar como Google -> e pesquisei o /robots.txt e raiz (/)
Na raiz, a mensagem é "Arquivo robots.txt inacessível" e no robots.txt "Falha"

- No Bing e Yahoo está tudo ok e sem erros de rastreamento. O problema é somente o Google

- A hospedagem é do UOLHOST e está bem estável e a resposta ao arquivo robots.txt é bem rápida, problema com timeout está descartado

- Já abri um chamado no UOLHOST perguntando se estavam bloqueando o Googlebot pelo firewall e aparentemente está ok.

- Já fiz um pedido de reconsideração no GWT e a resposta que obtive é que o site não foi classificado como spam e não há razões (Black Hat) para não estar indexado ao índice do Google.

Alguma sugestão ?

[paulolinharesdesign 0]

Estava desconfiando que seria firewall do host porque nos arquivos de log anteriores ao dia 2013/08/07 NÃO encontrei registros de acesso do Googlebot.

Porém no arquivo de log de hoje, 2013/08/07 encontrei 3 registros:

74.125.57.36 - - [07/Aug/2013:05:53:31 -0300] "HEAD /robots.txt HTTP/1.1" 200 0 "-" "Googlebot" "-" 90 269 0.091 BYPASS

74.125.57.36 - - [07/Aug/2013:06:03:18 -0300] "HEAD /robots.txt HTTP/1.1" 200 0 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" "-" 153 269 0.008 BYPASS

74.125.57.36 - - [07/Aug/2013:06:03:29 -0300] "HEAD /robots.txt HTTP/1.1" 200 0 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" "-" 153 269 0.007 BYPASS

E o Google Webmaster Tools continua me dando a resposta: "Arquivo robots.txt inacessível".

Alguma idéia ?

[paulolinharesdesign 0]

O problema estava realmente no Host, que estava bloqueando o acesso ao bot.