sistema de buscas

[RaroPixelado Raro 0]

Galera, eu não sei como o google funciona podem me explicar, veja se minha logica esta correta:

 

Um usuarios cria uma pagina hospedada na database da google, e quando buscamos ele mostra por ordem, é assim? de nao ensinem por favor.

[Andrey Knupp Vital 136]

Algoritmo provavelmente, na pesquisa influi várias estatísticas, isto é, número de acessos, tempo de carregamento na página, entre outras coisas ..

Outra, o google não hospeda páginas no banco de dados, apenas armazena dados do site analisado, esses dados são armazenados quando você passa o link no crawler deles.

[RaroPixelado Raro 0]

ta mas como ele arranja aqueles sites?

[Andrey Knupp Vital 136]

Quais sites ?

[RaroPixelado Raro 0]

ue man quando digita la foruns ele lista varios foruns, como ele acha eles?

[William Bruno 1501]

esse é o trabalho do crawler.

 

ele segue links. Ele procura por tags <a> no html, e vai seguindo.. lendo os conteúdos, procurando por novos links...

 

Na Central do WebMasters: http://www.google.com/webmasters/

você pode submeter o teu site, para ser analisado. É uma forma de deixar mais fácil pro robô te encontrar.

 

 

Pense que são milhares de sites, milhões de conteúdos, então tem muito automatizado nesse processo.

[RaroPixelado Raro 0]

amigo nao e bem isso, eu quero desenvolver um site de buscas so que em PHP, nao quero cadastrar nada la.

[Andrey Knupp Vital 136]

Você quer que o 'PHP' simplesmente ache teu site no ar ? se for, acredito que você se deixou levar pela imaginação, afinal, se ninguém mandar um link do site, não vai ter links distribuídos nos sites que ( seriam ) enviados para possivelmente achar o teu lá, outra coisa, o google não usa PHP, e o banco de dados deles não é 'MySQL', deve ser um db próprio deles.

[RaroPixelado Raro 0]

é eu acho que minha imaginação voou um pouco rsrs' mas assim: os usuarios vao cadastrar seu sites la, ai sera salvo no banco de dados desses sites eu uso o crawler para pegar mais e salvar no banco e exibir por mais votos, nome etc, essa logica funciona? e um jeito mais facil de encher o site de busca

[Andrey Knupp Vital 136]

Amigo, é o seguinte, você da o link do site, vamos supor '127.0.0.1/index.php' beleza, o google vai enviar uma requisição pra esse link, quando houver o resultado, vai capturar todo output que lhe interessa, aí que entra a parte interessante, o algoritmo dele procura por um conteúdo melhor, sem erros na marcação html, entre outras coisas que serão analisadas, não sei te informar ao certo, então extrai esse conteúdo, e envia para um local onde será armazenado, então esse conteúdo é temporário, se não houver atualizações por exemplo, você perde ranking nas buscas, etc ..

[RaroPixelado Raro 0]

eu entendi, e ja pensei como fazer amanha quando voltar a mecher eu explico o algoritimo. Tchau!

[Andrey Knupp Vital 136]

Amigo, isso que eu falei não é nem a unha de um motor de busca, foi apenas para te dar uma idéia do penhasco que você vai cair.

[RaroPixelado Raro 0]

aham eu entendi, é pq eu achava que o motor de busca saia procurando sites sozinho kkk'

[Andrey Knupp Vital 136]

Isso não existe .. como o motor de busca vai simplesmente adivinhar o endereço do seu site ?

[RaroPixelado Raro 0]

Tive de procurar no Google, "Como funciona o Google" ai eu entendi tudo, eu achei um script que faz isso, o algoritmo é enorme vou demorar pra entender ao todo e edit-alo ao meu favor, assim que houver resultados eu posto novamente.

[JCMais 75]

O Google usa Map/Reduce com BigTable que ele mesmo desenvolveu, isto é mais além do que banco de dados convencionais.

 

Além de usar um sistema de arquivos próprio, que é voltado exclusivamente para indexação.

 

Porcure por Map/Reduce e por BigTable que você vai ter mais ou menos uma idéia do funcionamento do crawler do Google.

[RaroPixelado Raro 0]

ok

 

eu tenho uma duvida,pro buscador esta sempre atualizado o crawler deve sempre estar rodando, e como vou fazer isso, sendo que ele demora horas em apenas um site?

[RaroPixelado Raro 0]

sem contar olimite de bytes,porque eu deichei meu crawler rodando uns sites e execeu o limite de bytes, esses seram problemas séros no futuro, oque faço?

 

conseguir alterar o limite de bytes, mas o limite de execução eu nao tenho a minima ideia...

 

ate agora ele ta rodando o fórum imasters, já rodou mais de mil links...

[Andrey Knupp Vital 136]

Esse é o negócio, o algoritmo deles deve ter algum 'thread' .. ou algo do tipo para separar os processos e quebrar tudo mais rápido .

[RaroPixelado Raro 0]

Esse é o negócio, o algoritmo deles deve ter algum 'thread' .. ou algo do tipo para separar os processos e quebrar tudo mais rápido .

Vou ter de quebrar a cabeça, pois se continuar assim o buscador vai ser o mais lento da face da terra *---*