Evitar que o google ache páginas isoladas

[Vítor André 3]

Daí pessoal!

Eu gostaria de saber como fazer para o google não encontrar as páginas do site isoladamente.

Eu monto a estrutura do site com includes, mas o Google ás vezes sugere as páginas direto no endereço, por exemplo www.meusite.com.br/pagina.php

O problema é que quando a página é aberta assim, direto nela, não há formatação, pois além de estar fora do contexto do site (por causa dos includes) o link pro css fica na index.

Eu sei que com meta dá pra bloquear os robots, mas não e se o usuário digitar direto? Tem como resolver isso?

 

Desde já, agradeço a ajuda!

 

Obs.: Dá-lhe INTERNACIONAL! O único brasileiro CAMPEÃO DE TUDO!!!!

[Fvox 0]

Hi.

 

No caso do Google, a melhor opção seria utilizar o arquivo robots.txt mesmo.

 

No caso do usuário, você pode implementar algumas "proteções" no PHP. Mas lembre-se que se o browser acessa, definitivamente não é impossível.

Você pode verificar de onde o usuário está vindo através do $_SERVER['HTTP_REFERER'], quando for via POST verificar pelo $_SERVER['REQUEST_METHOD'] e por aí vai.

 

[]'s

[criatividade zero 17]

if ( ! defined('ROOTPATH')) exit('fora daqui');

pelo menos assim você bloqueia o acesso se ROOTPATH nao estiver definida pela index

pode usar um redirect

 

 

ou um .hatacces para bloquear o diretorio

[William Bruno 1501]

Eu monto a estrutura do site com includes, mas o Google ás vezes sugere as páginas direto no endereço, por exemplo www.meusite.com.br/pagina.php

isso é impossível.

 

apenas se você trabalhasse com frames é q isso ocorreria.

ou então, se o teu site já existisse com essas URLs antigamente.

 

sugiro fazer um redirect 301 com htaccess para o novo endereço.

[Estud@nte 6]

Verifique qual links estão no resultado do Google e exclua pela ferramenta para webmaster

 

link https://www.google.com/webmasters/tools/home?hl=pt-BR

 

Se não tiver conta abra e adicione o seu site, do mais é igual ao que o William Bruno disse!

[Lucas Peperaio 20]

bloquei no robots

 

User-agent: *
Disallow: *.php

[William Bruno 1501]

galera: bloquear, e excluir vai fazer ele perder tráfego e histórico.

 

um redirect 301 é o melhor.

[Lucas Peperaio 20]

galera: bloquear, e excluir vai fazer ele perder tráfego e histórico.

 

um redirect 301 é o melhor.

 

Mas veja bem Bruno, como funcionaria o redirect neste caso? ele verificaria o user-agent e mandaria um 301 de volta para onde? para a página em que o include referente a esta página está? Eu digo isto, pois nós não sabemos como está a estrutura do site dele.

Sobre a sua posição, em que sentido ele iria perder trafégo e histórico? Afinal, bloqueando no robots.txt, o Google ainda encontrará todo o conteúdo do site dele perfeitamente, pois ele faz includes. De qualquer forma, este conteúdo "isolado" não pode aparecer no Google, pois haverá o problema com conteúdo duplicado.

 

Ah, e bloquear o diretório no .htaccess (options - indexes) não adiantará, pois os arquivos ainda podem ser acessados com o diretório bloqueado (500).

Excluir os links pelo GWT também é útil, mas se você não implementar uma solução definitiva (robots.txt|.htaccess|301), os links serão reindexados

[William Bruno 1501]

Mas veja bem Bruno, como funcionaria o redirect neste caso?

na mão.

pega URL por URL, e direciona para o local certo.

 

 

ele verificaria o user-agent e mandaria um 301 de volta para onde?

não precisa identificar nada. Só redirecionar e pronto.

 

 

pois nós não sabemos como está a estrutura do site dele.

ele deve saber, e deve conhecer qual leva para qual, então, eu indico q ele faça página por página.

 

 

Sobre a sua posição, em que sentido ele iria perder trafégo e histórico?

page rank

 

Afinal, bloqueando no robots.txt, o Google ainda encontrará todo o conteúdo do site dele perfeitamente

não. Se você bloquear no robots, os robos são impedidos de passar por aqueles conteudos.

 

 

De qualquer forma, este conteúdo "isolado" não pode aparecer no Google

a preocupação deve ser o usuário. E se algum usuario guardou o link direto ? se ta nos favoritos ? recebeu via mensagem ? cache do do google?

 

o correto, é o redirecionamento.

[Lucas Peperaio 20]

não. Se você bloquear no robots, os robos são impedidos de passar por aqueles conteudos.

 

Sim William, mas eu digo que estes arquivos PHP que serão incluidos em outros arquivos, serão vistos mesmo bloqueados pelo robots.

Ex:

 

pagina.php bloqueado no robots.txt

 

pagina com um <?php include("pagina.php") ?> //exibira o conteudo do pagina.php. Portanto aparecera para o usuário e robots

E ai que chegou o ponto critico, será que criar um redirecionamento 301 no pagina.php não iriam afetar estes includes? ao meu ver, iriam entrar num loop infinit, pois o include seria inserido com um 301 para a propria página, que teria novamente o mesmo include que seria redirecionado, e assim vai...

 

fatal error? provavelmente ocorreria por tempo limite maximo de execucao

[William Bruno 1501]

não.

 

faça o teste ai.

 

o redirecionamento só vai afetar se o arquivo for requisitado via URL ao servidor.

via include é outra história.

[Lucas Peperaio 20]

você tem razão bruno..

depois deste debate técnico, acho que a solução seja mesmo então o redirecionamento 301

:)

[criatividade zero 17]

nao acho que o redirecionamento seja a questão chave

ele quer o bloqueio de paginas como qualquer página do sistema - impedir o acesso direto via url

 

/lib/log.php

/lib/cache.php

/lib/sistem.php

nenhuma delas deve ser acessada diretamente, tao pouco redirecionada

 

 

o caso dele é provavelmente uma pasta com um monte de html que incorpora a folha de estilo

/include/quem-somos.php

/include/contato.php

/include/clientes.php

todas herdam a folha de estilo, e na teoria nao são de livre acesso pela url

 

 

nenhum link interno aponta para /include/clientes.php

redirecionamento não é a questão do problema e sim a visibilidade das paginas

[Lucas Peperaio 20]

nao acho que o redirecionamento seja a questão chave

ele quer o bloqueio de paginas como qualquer página do sistema - impedir o acesso direto via url

 

Depois da sua resposta, acredito que esta seja a melhor solução. Basta criar um arquivo .htaccess que impeça a visualização via URL, entretanto os "includes" ainda irao funcionar. Segue o código

<FilesMatch "\.php$">
order allow,deny
deny from all
</filesmatch>

Ou seja, bloquear todos os arquivos com extensao php contra acesso direto, entretanto os arquivos ainda podem ser "incluidos" em qualquer página. Problema resolvido, tanto para o Google, quanto para o usuário, e ainda melhor, é bem mais fácil do que manualmente criar redirecionamentos

[William Bruno 1501]

ai ai... algum dia vcs vão se importar com SEO.. e com o usuário..

[criatividade zero 17]

ai ai... algum dia vcs vão se importar com SEO.. e com o usuário..

100%, afinal, falei o motivo e a diferença

e o melhor, segurança

páginas do sistema, são acessadas pelo sistema - APENAS - e NUNCA via url

 

 

/lib/cache.php

não se permite o acesso via url, muito menos se faz redirecionamento de páginas de sistema

 

/include/contato.php

o fato dele trabalhar com contato.php herdando a folha de estilo, não quer dizer que a página deva ser acessada

essa é uma página do sistema do rapaz, não deve ser acessada fora do link

[William Bruno 1501]

não deve, mas já foi indexada assim.

 

imagine um sistema antigo, em que antigamente o caminho era: /include/contato.php, e depois mudaram para /contato [esse é o caso descrito pelo autor do tópico]

 

você pode ter emails marketing apontando para esse caminho, pode ter link building de outros sites apontando para essa url, pode ter bookmarks de usuários..

e ainda, conforme ele falou, você tem o histórico do robô de busca, que indexou a página assim.

 

 

qndo você bloquear, você vai jogar fora todo esse histórico, page rank, e força daquela url.

ou seja, estará disperdiçando o esforço de propagação daquilo.

 

meu único ponto aqui é: dar indicações perigosas e erradas ao caso em questão.

[Lucas Peperaio 20]

Bom gente, temos que esperar o usuário voltar ao tópico e escolher o que ele acha melhor.

Vou deixar aqui o código também para redirecionar todos os includes para as suas respectivas páginas (que o William falou).

 

Então Vitor Andre, neste tópico foram abordados duas soluções, uma é redirecionar com o apache as suas páginas isoladas, para os locais certos. Eu fiz um código para isso, para ficar no .htaccess, imaginando que os includes estejam em pastas chamadas includes.

RedirectMatch permanent /includes\/([a-z0-9_-]+)\.php$ http://www.ositedele.com.br/$1

não testei, mas deve funcionar

 

E a segunda solução é impedir que estes arquivos sejam sequer vistos quando forem acessados diretamente pela URL, segue o código que eu fiz:

<FilesMatch "\.php$">
order allow,deny
deny from all
</filesmatch>

Este esta testado

 

Bem, agora a escolha é sua

[criatividade zero 17]

Eu monto a estrutura do site com includes, mas o Google ás vezes sugere as páginas direto no endereço, por exemplo www.meusite.com.br/pagina.php

isso é impossível.

 

apenas se você trabalhasse com frames é q isso ocorreria.

ou então, se o teu site já existisse com essas URLs antigamente.

 

 

imagine um sistema antigo, em que antigamente o caminho era: /include/contato.php, e depois mudaram para /contato [esse é o caso descrito pelo autor do tópico]

 

esse é o caso que você acha, pq o autor não confirmou nada alem do post inicial

o sistema do cara não aponta para link include, o mais obvio é que algum crawler tenha obtido as urls /include e indexado errado, um simples <form action="/include/contato.php"> ja seria o suficiente pra zonear tudo num sistema vulneravel, ainda mais obvio em se tratando se tentativas de hacker, ferramentas que procuram exatamente essas brechas

[Vítor André 3]

Pessoal, eu não quero impedir o Google de "ler" meus arquivos. E não me preocupo com segurança NESTE CASO pois não uso nenhum registro de clientes, informações seguras ou coisas assim no site. Mas se isso for um problemas de segurança por favor me avisem, pois não tenho esse conhecimento.

Minha estrutura é a seguinte

 

INDEX.PHP

 

no head da index há o link para a FOLHA DE ESTILOS

 

include(topo)

include(meio)

include(base)

 

TOPO.PHP

Aqui está o logo e o MENU

 

 

MEIO.PHP

Aqui há e um switch que le os GET's e chama por INCLUDE as outras páginas.

 

O que acontece é que o Google encontra a página EMPRESA.PHP num link só pra ela, porém ela fica sem formatação pois no LINK DIRETO ela não vem com include e não pega o CSS da INDEX.