E’ il motore di ricerca che finalmente porta a conoscenza dei potenziali clienti il tuo sito web dando notizia che esiste. A partire da ore è meglio quindi sapere come questi motori di ricerca lavorano attualmente e come presentano le informazioni ai clienti che iniziano le ricerche.
Ci sono in pratica due tipi di motori di ricerca. I primi dai robots sono chiamati crawlers o spiders.
I motori di ricerca utilizzano gli spiders per indicizzare i siti web. Quando inviate le vostre pagine del sito ad un motore di riceca a completamento dei loro moduli di invio sito, lo spider del motore di ricerca indicizzerà l’intero vostro sito. Uno ‘spider’ è un software automatizzato che viene eseguito dal sistema del motore di ricerca. Lo Spider visita un sito web, legge il contenuto del sito attuale, i Meta tags del sito e segue anche I collegamenti con gli altri siti, i cosiddetti links tra un sito ed un altro. Quindi lo spider riporta tutte le informazioni indietro ad un archivio centrale, dove i dati vengono indicizzati. Inoltre visita ogni link che avete immesso nel vostro sito ed indicizza anche questi siti. Alcuni spiders indicizzeranno solo un certo numero di pagine nel vostro sito, per cui non conviene creare un sito con 500 pagine.
Lo spider ritorner periodicamente al sito per controllare ogni informazione e se I contenuti sono cambiati. La frequenza con cui questo avviene viene decisa dai controllori del motore di ricerca.
Uno spider spesso è come un libro dove sono inseriti gli indici dei contenuti, I contenuti stessi, I links e le referenze per tutti I siti che vengono trovati durante la sua ricerca, ed esso può indicizzare milioni di pagine ogni giorno.
Quando vengono richieste delle informazioni al motore di ricerca, esso le ritrova attraverso gli indici che esso stesso si è creato e non va a cercarle in giro per il web. Motori di ricerca differenti producono diverse classificazioni perchè non tutti usano il medesimo algoritmo per cercare attraverso gli indici. Per esempio è possibile che un sito sia nella prima pagina delle ricerche se vengono effettuate attraverso Yahoo ed invece compaia nella terza pagina dei risultati cercando con Google.
Una delle cose importanti che un motore di ricerca attraverso il suo algoritmo seleziona sono la frequenza e la dislocazione delle parole chiavi in una pagina web, ma può anche determinare se sono parole chiave artificiali cioè non inerenti al contenuto e quindi definirle come stuffing o spamdexing.Quindi gli algoritmi analizzano il modo in cui queste pagine linkano altre pagine nel web. Controllando quali pagine linkano ogni altra un motore può determinare cosa è una pagina e se le parole chiavi delle pagine linkate sono simili alle parole chiave della pagina originale.