Un Crawler, detto anche Spider o Bot (quello di Google si chiama Googlebot), è il sistema di esplorazione del web che utilizzano i motori di ricerca.
Sono programmi software in grado di “saltare” da un link verso l’altro e di memorizzare i dati di ogni pagina internet percorsa, estrapolandone i dati per poi riproporli quando effettuiamo delle ricerche.
Di Crawler ve ne sono molti, soprattutto specializzati: Google ad esempio a spider specifici per i testi, le immagini, i video, ma anche ad esempio per le notizie o altre informazioni particolari.
Per questo un contenuto di un sito deve essere poliglotta, ovvero “parlare” in modo diverso ai programmi che esplorano il web, così da posizionarsi e conquistare più posizioni possibili!