Prove Yourself 0 Denunciar post Postado Maio 12, 2010 Bom dia, tudo bem? Tenho duas dúvidas referentes ao robots.txt 1 - Vi em alguns exemplo na internet que o pessoal bloqueia (disallow) o acesso a pastas como /tmp/, /etc/ entre outras que estão no ftp e não são a raiz do site. Os robos realmente conseguem indexar o conteudo dessas pastas? 2 - Instalei o Wordpress no meu servidor. O wordpress utiliza arquivos que estão em pastas, como wp-admin, wp-content. Se eu bloquear esta pasta, posso ser prejudicado na indexação? Como criar um robots.txt eficiente para o Wordpress? Por enquanto é isso, vou continuar pesquisando. Obrigado. Compartilhar este post Link para o post Compartilhar em outros sites
GabrielFerrari 41 Denunciar post Postado Maio 12, 2010 1 - Vi em alguns exemplo na internet que o pessoal bloqueia (disallow) o acesso a pastas como /tmp/, /etc/ entre outras que estão no ftp e não são a raiz do site. Os robos realmente conseguem indexar o conteudo dessas pastas? Eles vão tentar indexar tudo que encontram pela frente. hehehe É indexado tudo que existe referente ao site indiferente de ser a pasta principal ou subpastas dentro de subpastas Se tiver uma forma deles encontrarem... certamente irão. Por isso é importante bloquear tudo que não é de interessante para seu usuário como pastas de scripts, áreas restritas a login e senha, etc... 2 - Instalei o Wordpress no meu servidor. O wordpress utiliza arquivos que estão em pastas, como wp-admin, wp-content. Se eu bloquear esta pasta, posso ser prejudicado na indexação? Como criar um robots.txt eficiente para o Wordpress? Certamente! Dentro da pasta wp-content tem muita coisa para ser bloqueada porém se bloquear ela inteira vai perder a pasta de uploads onde ficam suas imagens. mas dentro da uploads pode ter outras pastas que talvez não seja interessante então deve ser bloqueadas também. Deixe apenas o que pode ser interessante e acessado aos seus usuários De resto pode bloquear tudo. Qualquer coisa torne a postar :) Compartilhar este post Link para o post Compartilhar em outros sites
Bruno Scarcella 17 Denunciar post Postado Maio 12, 2010 No meu robots.txt do meu wordpress eu uso as seguintes regras: User-agent: * Disallow: /page/* Disallow: /*/trackback* Disallow: /wp-admin/ Disallow: /author/ Disallow: /comments/ Acredito que nunca terei problemas assim! ;) Compartilhar este post Link para o post Compartilhar em outros sites
Prove Yourself 0 Denunciar post Postado Maio 12, 2010 Muito obrigado pessoal, respostas bem claras. Bruno, percebi que você não bloqueia as pastas /tmp/, /etc/, entre outras. Porque? Um abraço pessoal. Compartilhar este post Link para o post Compartilhar em outros sites
Bruno Scarcella 17 Denunciar post Postado Maio 12, 2010 Não tem necessidade de bloquear porque essas pastas não estão no diretório público do seu site, isso é, dentro da pasta www de seu FTP. É importante bloquear apenas arquivos que não estejam dentro da pasta publica do seu site. Abraço! Compartilhar este post Link para o post Compartilhar em outros sites
Prove Yourself 0 Denunciar post Postado Maio 12, 2010 Ah tah, essa era a minha primeira dúvida. :) Tinha imaginado isso. Obrigado. Compartilhar este post Link para o post Compartilhar em outros sites
Derme 0 Denunciar post Postado Janeiro 21, 2011 Olá, pegando uma carona. Eu tenho um site no dominio www.colmeiaweb.com e criei uma lojinha no subdomínio, lojasonline.colmeiaweb.com e percebi que no Web Master Tools do domínio, apareciam palavras chave relativa ao subdominio, o que obviamente eu não quero pois são dois sites separados, mas é que, pelo menos no meu provedor, a pasta do subdomínio fica dentro da pasta do domínio; então no robots.txt do site principal eu bloqueei a pasta do subdomínio para tentar ver se o Google não a leva em consideração no painel do site principal. Agora o meu receio é que isso cause algum problema no subdomínio quando o google estiver analisando no proprio painel do subdomínio. Expliquei ou compliquei? Compartilhar este post Link para o post Compartilhar em outros sites
Bruno Scarcella 17 Denunciar post Postado Janeiro 27, 2011 Se eu entendi bem, acredito que se você bloqueou o subdominio pelo robots, o google não irá mais indexar a sua loja. Se foi isso que eu entendi é claro Compartilhar este post Link para o post Compartilhar em outros sites
Derme 0 Denunciar post Postado Janeiro 27, 2011 Se eu entendi bem, acredito que se você bloqueou o subdominio pelo robots, o google não irá mais indexar a sua loja. Se foi isso que eu entendi é claro Foi isso que eu fiz sim, mas eu bloqueei no robots.txt do domínio www.colmeiaweb.com e não no robots.txt do subdominio, que é a loja. Minha dúvida é essa! Porque se o google entrar em www.colmeiaweb.com e ler o seu robots, vai ver que não é pra entrar na pasta da loja, mas se ele entrar em lojasonline.colmeiaweb.com que já é a propria pasta, no robots da loja não tem impendimento nenhum. E é isso que eu queria entender: Se é um subdominio e consta no indice do google e de outros diretórios, se vocÊ digitar http://lojasonline.colmeiaweb.com vai entrar direto na loja mesmo a pasta estando dentro da pasta raiz, antes de entrar direto na pasta da loja , ele vai verificar no robots do domínio se tem algum impedimento? De qualquer forma o Google não trata os dois como domínios separados? Será que eu compliquei muito!? Compartilhar este post Link para o post Compartilhar em outros sites
Bruno Scarcella 17 Denunciar post Postado Janeiro 27, 2011 Pelo que estou percebendo ele bloqueia o robot vindo do seu site principal, agora se ele vir de algum link ele vai rastrear normalmente, pois nao vai parar no robots.txt do subdominio. Nunca fiz esse tipo de teste. Saberemos a resposta com o tempo. Compartilhar este post Link para o post Compartilhar em outros sites