Il Robot.txt è un file di testo, non è obbligatorio, che quando viene utilizzato deve risiedere nella “root” dello spazio web del sito internet. Serve a dare disposizioni specifiche ai motori di ricerca in merito a cosa possono esplorare e cosa no.
Molto importante in ambito SEO, si tratta di una specie di “garante della privacy” per le nostre informazioni pubblicate.
Appena abbiamo realizzato un sito, prima di metterlo online studiamo in maniera approfondita come incanalare l’esplorazione dei spider, permettendo o negando l’accesso a pagine o intere directory non pertinenti con i contenuti.
Lo studio e la realizzazione di un buon file robot permette di aumentare il trust dei contenuti rispetto a Google e agli altri motori di ricerca, quindi è il primo fattore SEO on page da curare.