robots.txt

Bom dia,

Pelo pouco que eu entendo, o arquivo "robots.txt" permite bloquear derteminados servios, para que não entrem no site.

Um exemplo é o buscador, como o Google, qu com o "robots.txt" pode o bloquear para que não o permita entrar no site

Bom... Vou logo ao assunto:

Existe um programa chamado WebReaper, que com ele pode-se baixar sites inteiros da internet. Um exemplo, é que se colocar o link do site http://www.uol.com.br ele baixará o site praticamente inteiro e o salvará em uma pasta do computador...

Estava tentando baixar um site qualquer da internet, e verifiquei pelo status do programa que primeiro ele verifica o arquivo "robots.txt". E pelo que entendí, isso quer dizer que da para configurar o arquivo "robots.txt" para que não permita que o programa baixa o site.

Bom... É esta a dúvida que tenho. Como eu poderia configurar o "robots.txt" para que não permita que este programa, ou outro qualquer baixa o meu site?

---------------------------------------------------------------------------------------------------------------------------------

Obigado,

Anderson Ferreira