sNniffer

Meu robots: User-agent: * Disallow: /wp-admin Disallow: /sistema Disallow: /site Disallow: /old Sitemap: http://www.urldosite.com.br/page-sitemap.xml Na ferramenta de teste do google: https://www.google.com/webmasters/tools/robots-testing-tool está rolando normal: 'permitido' Mas, no ahref tenho o retorno: Fetching robots.txt took too long Já pedi para o pessoal da hospedagem ver para nós se há algum bloqueio do crawler ou dos ips usados pelo ahrefs e não há. Já desativei todos os plugins do site e nada