Ideias de comparação de preços

[Walter Alves 2]

Olá pessoal, estou criando um site de comparação de preço e cheguei na parte mais difícil da ideia, a pergunta é: como pegar os produtos dos outros sites e colocar tudo dentro do banco que não seja cadastrando de um por um. Minha ideia seria criar um engine que sairia varrendo um site por vez e pegaria a pagina de cada produto, mas nesse caso o difícil não era identificar quando a pagina se tratava de um produto mais em si criar o engine que buscaria todas as urls do site.

Outra alternativa seria ler pagina por pagina, mas pegar url por url é quase que inviável pois tem lojas ai com milhares de produtos, mas nesse momento é minha unica alternativa, outra saída seria as lojas criarem um arquivo xml e o site ler igual ao buscapé, mas nesse caso atualmente nenhuma loja quer fornecer os produtos para uma loja que nem criada está.

Então queria ajuda de vocês ao menos para amadurecer minha ideia.

[Beraldo 864]

Há 3 saídas

 

1. Cadastrar manualmente

2. Usar Web Service

3. Fazer um crawler

 

A primeira é muito trabalhosa.

A segunda depende da loja ter esse Web Service e lhe fornecer acesso a ele

A terceira é a melhor alternativa, caso não seja possível executar a segunda maneira.

[Walter Alves 2]

Li agora sobre Crawler pois desconhecia, ele me lembrou muito o programa HTTrack, vou procurar saber um pouco sobre a engenharia do HTTrack, mas caso não obtenha muito sucesso, vou investir na criação do meu próprio crawler com Curl e xpatch, e obrigado Beraldo, já me deu um feedback importante, vou aguarda mais um pouco para ver se surgi mais algumas ideias.