Usamos cookies para medir audiência e melhorar sua experiência. Você pode aceitar ou recusar a qualquer momento. Veja sobre o iMasters.
Galera, eu não sei como o google funciona podem me explicar, veja se minha logica esta correta:
Um usuarios cria uma pagina hospedada na database da google, e quando buscamos ele mostra por ordem, é assim? de nao ensinem por favor.
ta mas como ele arranja aqueles sites?
Quais sites ?
ue man quando digita la foruns ele lista varios foruns, como ele acha eles?
esse é o trabalho do crawler.
ele segue links. Ele procura por tags <a> no html, e vai seguindo.. lendo os conteúdos, procurando por novos links...
Na Central do WebMasters: http://www.google.com/webmasters/
você pode submeter o teu site, para ser analisado. É uma forma de deixar mais fácil pro robô te encontrar.
Pense que são milhares de sites, milhões de conteúdos, então tem muito automatizado nesse processo.
amigo nao e bem isso, eu quero desenvolver um site de buscas so que em PHP, nao quero cadastrar nada la.
Você quer que o 'PHP' simplesmente ache teu site no ar ? se for, acredito que você se deixou levar pela imaginação, afinal, se ninguém mandar um link do site, não vai ter links distribuídos nos sites que ( seriam ) enviados para possivelmente achar o teu lá, outra coisa, o google não usa PHP, e o banco de dados deles não é 'MySQL', deve ser um db próprio deles.
é eu acho que minha imaginação voou um pouco rsrs' mas assim: os usuarios vao cadastrar seu sites la, ai sera salvo no banco de dados desses sites eu uso o crawler para pegar mais e salvar no banco e exibir por mais votos, nome etc, essa logica funciona? e um jeito mais facil de encher o site de busca
Amigo, é o seguinte, você da o link do site, vamos supor '127.0.0.1/index.php' beleza, o google vai enviar uma requisição pra esse link, quando houver o resultado, vai capturar todo output que lhe interessa, aí que entra a parte interessante, o algoritmo dele procura por um conteúdo melhor, sem erros na marcação html, entre outras coisas que serão analisadas, não sei te informar ao certo, então extrai esse conteúdo, e envia para um local onde será armazenado, então esse conteúdo é temporário, se não houver atualizações por exemplo, você perde ranking nas buscas, etc ..
eu entendi, e ja pensei como fazer amanha quando voltar a mecher eu explico o algoritimo. Tchau!
Amigo, isso que eu falei não é nem a unha de um motor de busca, foi apenas para te dar uma idéia do penhasco que você vai cair.
aham eu entendi, é pq eu achava que o motor de busca saia procurando sites sozinho kkk'
Isso não existe .. como o motor de busca vai simplesmente adivinhar o endereço do seu site ?
Tive de procurar no Google, "Como funciona o Google" ai eu entendi tudo, eu achei um script que faz isso, o algoritmo é enorme vou demorar pra entender ao todo e edit-alo ao meu favor, assim que houver resultados eu posto novamente.
O Google usa Map/Reduce com BigTable que ele mesmo desenvolveu, isto é mais além do que banco de dados convencionais.
Além de usar um sistema de arquivos próprio, que é voltado exclusivamente para indexação.
Porcure por Map/Reduce e por BigTable que você vai ter mais ou menos uma idéia do funcionamento do crawler do Google.
ok
eu tenho uma duvida,pro buscador esta sempre atualizado o crawler deve sempre estar rodando, e como vou fazer isso, sendo que ele demora horas em apenas um site?
sem contar olimite de bytes,porque eu deichei meu crawler rodando uns sites e execeu o limite de bytes, esses seram problemas séros no futuro, oque faço?
conseguir alterar o limite de bytes, mas o limite de execução eu nao tenho a minima ideia...
ate agora ele ta rodando o fórum imasters, já rodou mais de mil links...
Esse é o negócio, o algoritmo deles deve ter algum 'thread' .. ou algo do tipo para separar os processos e quebrar tudo mais rápido .
>
Esse é o negócio, o algoritmo deles deve ter algum 'thread' .. ou algo do tipo para separar os processos e quebrar tudo mais rápido .
Vou ter de quebrar a cabeça, pois se continuar assim o buscador vai ser o mais lento da face da terra ---
Cara, para de viajar, se você quer pegar links, utiliza um parser ..
>
Vou ter de quebrar a cabeça, pois se continuar assim o buscador vai ser o mais lento da face da terra ---
E também eu tenho duvidas, porque a plataforma do google é voltada pra buscas e eu nao vou criar uma linguagem nem voud esistir do projeto --
Não me leve à mão, mas que conhecimento você tem sobre programação básica? E sobre orietanção à objetos? Amigo, se você quer chegar em algum lugar, estude para isto.
Você procurou o que eu disse? Estudou? ...
E quando for adicionar algo à uma postage anterior, à edite e adicione o conteúdo, não crie posts um por cima do outro. ;)
>
Não me leve à mão, mas que conhecimento você tem sobre programação básica? E sobre orietanção à objetos? Amigo, se você quer chegar em algum lugar, estude para isto.
Você procurou o que eu disse? Estudou? ...
E quando for adicionar algo à uma postage anterior, à edite e adicione o conteúdo, não crie posts um por cima do outro. ;)
Sei PHP à fundo, eu dei uma pesquisada, mas irei me enterra mais, desculpe irei fazer isso,mas no forum nao tem a opção de deletar ''/
sabe mesmo php a fundo? pq tanta duvida entao ao sistema de busca? nao leve a mal...mas você parece iniciante....nao entendeu ainda que requisicoes fara, como fara, performance do servidor, como ira fazer o melhor codigo pra melhorar o servidor...como disse num outro post seu, achou um codigo na net...quem sabe php a fundo nao pega pronto, faz...o google ja foi feito em php e mysql (assim disse o representante google de MG), hj eles tem a propria plataforma deles...
Algoritmo provavelmente, na pesquisa influi várias estatísticas, isto é, número de acessos, tempo de carregamento na página, entre outras coisas ..
Outra, o google não hospeda páginas no banco de dados, apenas armazena dados do site analisado, esses dados são armazenados quando você passa o link no crawler deles.