[Resolvido] robots.txt

[Prove Yourself 0]

Bom dia, tudo bem?

 

Tenho duas dúvidas referentes ao robots.txt

 

1 - Vi em alguns exemplo na internet que o pessoal bloqueia (disallow) o acesso a pastas como /tmp/, /etc/ entre outras que estão no ftp e não são a raiz do site. Os robos realmente conseguem indexar o conteudo dessas pastas?

 

2 - Instalei o Wordpress no meu servidor. O wordpress utiliza arquivos que estão em pastas, como wp-admin, wp-content. Se eu bloquear esta pasta, posso ser prejudicado na indexação? Como criar um robots.txt eficiente para o Wordpress?

 

Por enquanto é isso, vou continuar pesquisando.

Obrigado.

[GabrielFerrari 41]

1 - Vi em alguns exemplo na internet que o pessoal bloqueia (disallow) o acesso a pastas como /tmp/, /etc/ entre outras que estão no ftp e não são a raiz do site. Os robos realmente conseguem indexar o conteudo dessas pastas?

Eles vão tentar indexar tudo que encontram pela frente. hehehe

É indexado tudo que existe referente ao site indiferente de ser a pasta principal ou subpastas dentro de subpastas

Se tiver uma forma deles encontrarem... certamente irão.

 

Por isso é importante bloquear tudo que não é de interessante para seu usuário

como pastas de scripts, áreas restritas a login e senha, etc...

 

2 - Instalei o Wordpress no meu servidor. O wordpress utiliza arquivos que estão em pastas, como wp-admin, wp-content. Se eu bloquear esta pasta, posso ser prejudicado na indexação? Como criar um robots.txt eficiente para o Wordpress?

Certamente!

Dentro da pasta wp-content tem muita coisa para ser bloqueada porém se bloquear ela inteira vai perder a pasta de uploads onde ficam suas imagens.

mas dentro da uploads pode ter outras pastas que talvez não seja interessante então deve ser bloqueadas também.

Deixe apenas o que pode ser interessante e acessado aos seus usuários

De resto pode bloquear tudo.

 

 

 

 

Qualquer coisa torne a postar :)

[Bruno Scarcella 17]

No meu robots.txt do meu wordpress eu uso as seguintes regras:

 

User-agent: *

Disallow: /page/*

Disallow: /*/trackback*

Disallow: /wp-admin/

Disallow: /author/

Disallow: /comments/

 

 

Acredito que nunca terei problemas assim! ;)

[Prove Yourself 0]

Muito obrigado pessoal, respostas bem claras.

Bruno, percebi que você não bloqueia as pastas /tmp/, /etc/, entre outras.

Porque?

Um abraço pessoal.

[Bruno Scarcella 17]

Não tem necessidade de bloquear porque essas pastas não estão no diretório público do seu site, isso é, dentro da pasta www de seu FTP.

 

É importante bloquear apenas arquivos que não estejam dentro da pasta publica do seu site.

 

 

Abraço!

[Prove Yourself 0]

Ah tah, essa era a minha primeira dúvida. :)

Tinha imaginado isso.

Obrigado.

[Derme 0]

Olá, pegando uma carona.

 

Eu tenho um site no dominio www.colmeiaweb.com e criei uma lojinha no subdomínio, lojasonline.colmeiaweb.com e percebi que no Web Master Tools do domínio, apareciam palavras chave relativa ao subdominio, o que obviamente eu não quero pois são dois sites separados, mas é que, pelo menos no meu provedor, a pasta do subdomínio fica dentro da pasta do domínio; então no robots.txt do site principal eu bloqueei a pasta do subdomínio para tentar ver se o Google não a leva em consideração no painel do site principal.

 

Agora o meu receio é que isso cause algum problema no subdomínio quando o google estiver analisando no proprio painel do subdomínio.

 

Expliquei ou compliquei?

[Bruno Scarcella 17]

Se eu entendi bem, acredito que se você bloqueou o subdominio pelo robots, o google não irá mais indexar a sua loja.

 

Se foi isso que eu entendi é claro

[Derme 0]

Se eu entendi bem, acredito que se você bloqueou o subdominio pelo robots, o google não irá mais indexar a sua loja.

 

Se foi isso que eu entendi é claro

 

Foi isso que eu fiz sim, mas eu bloqueei no robots.txt do domínio www.colmeiaweb.com e não no robots.txt do subdominio, que é a loja.

 

Minha dúvida é essa!

 

Porque se o google entrar em www.colmeiaweb.com e ler o seu robots, vai ver que não é pra entrar na pasta da loja,

mas se ele entrar em lojasonline.colmeiaweb.com que já é a propria pasta, no robots da loja não tem impendimento nenhum.

 

E é isso que eu queria entender:

 

Se é um subdominio e consta no indice do google e de outros diretórios, se vocÊ digitar http://lojasonline.colmeiaweb.com vai entrar direto na loja mesmo a pasta estando dentro da pasta raiz, antes de entrar direto na pasta da loja , ele vai verificar no robots do domínio se tem algum impedimento?

 

De qualquer forma o Google não trata os dois como domínios separados?

 

 

Será que eu compliquei muito!?

[Bruno Scarcella 17]

Pelo que estou percebendo ele bloqueia o robot vindo do seu site principal, agora se ele vir de algum link ele vai rastrear normalmente, pois nao vai parar no robots.txt do subdominio.

 

Nunca fiz esse tipo de teste. Saberemos a resposta com o tempo.