bloqueado pelo robots.txt

[Bergs 53]

Olá Thelon

 

estou tendo problema com a idexacão de meu site menuguitarra.orgfree.com .

enviei o sitemap.xml para o servidor e depois

também pelo google, só que foi detectado um bloqueio no robots.txt

ele estava com Disallow: / , atualizei o robots para.

 

User-agent: Googlebot
allow: /
User-agent: Slurp
allow: /
User-agent: MSNBot
allow: /
User-agent: *
allow: /

Reenviei o sitemap mas agora ele fica sempre dando erro com status X o que eu posso

fazer para contornar esse problema.

 

Dá uma força aí cara http://forum.imasters.com.br/public/style_emoticons/default/yay.gif

[Bruno Scarcella 17]

Coloque os todos os user agents, nao precisar usar o allow.

 

Da uma olhada no robots deste site: www.ambienty.com.br/

 

 

Nao use o allow, só indique o que você nao quer que seja indexado, e os user agents e o sitemap!

 

Abraços

[GabrielFerrari 41]

É como o Bruno Scarcella disse

Só coloque no robots o que quer bloquer e não o que não quer :P

 

E no lugar de escrever um por um dando margens para erros use o * que indica todos

 

Percebi que você deixou os arquivos css na pasta raiz

Eu recomendo a prática de centralizar CSS, JS e outros códigos em uma pasta chamada script já que você tem uma

E esses código não tem necessidade de deixar para os buscadores verificar.

 

Então deixa assim:

 

User-agent: *
Disallow: /scripts

Veja outras pastas que não sejam interessantes para os usuário e vá bloquando.

:)

 

Tudo que estiver fora do robots será verificado pelos mecanismos de busca

[Bergs 53]

Bom Dia Pessoal!!

 

Eu deixei ele assim porque do jeito que estava antes o google tava

bloqueando, onte de noite ele funcionou.

 

vou dá uma organizada e colocar só o que é para ser bloqueado.

 

Valeu pelas dicas!

[GabrielFerrari 41]

Se precisar de um auxilio para refazer: http://www.marketingdebusca.com.br/robots-txt/

[Bergs 53]

Bom Dia Thelon!

 

Eu já tinha visto esse site foi justamente com ele que fiz o meu primeiro robots.txt

que deu erro, como eu era leigo no assunto devo ter feito algo errado, mas agora já

entendi a real função do robots.

 

O Thelon, quanto tempo em média demora para o google indexar minhas páginas?

[GabrielFerrari 41]

Cara a questão de tempo é relativa

 

Geralmente é umas 2 semanas

Se demorar mais que isso tenta pedir indexação pela webmasters tool

 

Mas pode levar até meses

Fica de olho se em 1 mês não indexar posta ae que agente tenta analisar o problema.