Como funciona um motor de busca?

Um motor de busca associa palavras que os utilizadores inserem numa janela de texto a um índice, apresentando assim sumários de conteúdo numa página de resultados (ou SERP - Search Engine Results Page).
Basicamente tem três componentes: o crawler (ou spider), o índice - a base de dados massiva criada pelo crawler - e o sistema runtime - que faz a ligação entre a consulta e o software de busca, tornando os dados constantes no índice inteligíveis para o utilizador.

Esquema do funcionamento dum motor de busca. Fonte: Chaffey, (2006 pág. 378)

O crawler (ou spider) é associado a um robot que salta de página em página, devorando links e texto. Na realidade este engenho nada tem de tangível. Com efeito, trata-se “apenas” dum poderoso programa informático que corre nos servidores da Google e cuja tarefa é vasculhar e arquivar toda a Web.

Uma vez indexadas as páginas há que encontrar critérios para as apresentar aos utilizadores. O software em que assenta a tecnologia de pesquisa Google processa cálculos simultâneos em frações de segundo. Através do seu algoritmo designado PageRank™ é examinada toda a estrutura de hiperligações da Web, de forma a determinar quais as páginas mais importantes. Realiza em seguida uma análise de correspondência de hipertexto para estabelecer quais as páginas relevantes para uma determinada pesquisa que seja efetuada. Ao combinar a importância geral e a relevância específica para a consulta, o Google consegue colocar em primeiro lugar os resultados mais relevantes e fiáveis.

Muito embora a Google seja muito comunicativa nalguns departamentos, como o AdWords, o AdSense e soluções empresariais, nenhum webmaster consegue obter qualquer resultado no tocante a assuntos relacionados com o índice, visto que é um processo totalmente automatizado. Pedir a humanos no Google para interferir com o índice é um exercício de futilidade.

A seguir pode ver-se um esquema do processo de pesquisa (query) e apresentação do resultado.


3. Os resultados da pesquisa são apresentados ao utilizador numa fracção de segundo.		1. O servidor Web envia a consulta para os servidores de indexação. O conteúdo que se encontra nos servidores de indexação é idêntico ao índice remissivo de um livro: indica ao sistema quais as páginas que contêm as palavras que correspondem à pesquisa.

	2. A consulta é enviada para os servidores de documentos, que obtêm efectivamente os documentos guardados. São gerados trechos para descrever cada resultado de pesquisa.

Fonte: Google