Sobre robots.txt

[Spider Web 0]

Ontem estava dando uma olhada nas estatiticas de busca de meu site, e na página de erros encontrei um buscador que buscou pelo arquivos robots.txt , fiquei em duvida quanto a esse arquivo.Os sistemas de busca procuram por esse arquivo nos diretorios dos sites para indexar?Como posso construir esse arquivo para os robores de buscas? e só digitar palavras chaves no bloco de notas e salvar e jogar no diretorio do site? ou é tipo aquele código de meta-tags ?Agradeço, e se alguem poder dar dicas adcionais sobre essa duvido tb agradeço bastante.vlw

[webpaulo 0]

Se preferir em português, escrevi um artigo que pode interessar:

 

http://www.marketingdebusca.com.br/robotst...xacao-de-sites/

 

Se tiver ainda alguma dúvida, comente que eu respondo.

 

Abraço,

Paulo Rodrigo Teixeira

http://www.webpaulo.com