Meu robots:
User-agent: *
Disallow: /wp-admin
Disallow: /sistema
Disallow: /site
Disallow: /old
Sitemap: http://www.urldosite.com.br/page-sitemap.xml
Na ferramenta de teste do google: https://www.google.com/webmasters/tools/robots-testing-tool está rolando normal: 'permitido'
Mas, no ahref tenho o retorno: Fetching robots.txt took too long
Já pedi para o pessoal da hospedagem ver para nós se há algum bloqueio do crawler ou dos ips usados pelo ahrefs e não há.
Já desativei todos os plugins do site e nada
