Rastrear website e baixar vários arquivos

Boa noite a todos...

Estou tendo a necessidade de fazer um ROBOT que analiza um determinado web site (todas as páginas e links) e baixe determinados arquivos (ex.: imagens, arquivos .flv, arquivos exe. etc...)

Não tenho a menor idéia de como poderia começar o desenvolvimento deste script. (alguém pode me dar um luz com idéias ou exemplos?)

Forte abraço a todos...