Creare il file robots.txt per indicizzare meglio il proprio sito
Che cosa è il file robots.txt ?
Il file robots.txt è un file che viene creato e inserito all’interno del server host del proprio sito web. Questo file contiene tutti i parametri necessari affinchè gli spider (software automatici: crawler) possano indicizzare sui vari motori di ricerca in modo periodico e ottimale.
Come crearlo!
Ci basta un semplice blocco note e incollare quanto segue:
|
# Land Of World Robots User-agent: Googlebot User-agent: googlebot-image User-agent: googlebot-mobile User-agent: MSNBot User-agent: Slurp User-agent: Teoma User-agent: twiceler User-agent: Gigabot User-agent: Scrubby User-agent: Robozilla User-agent: Nutch User-agent: ia_archiver User-agent: baiduspider User-agent: naverbot User-agent: yeti User-agent: yahoo-mmcrawler User-agent: psbot User-agent: asterias User-agent: yahoo-blogs/v3.9 User-agent: * |
salviamo il file come robots.txt e lo inseriamo nel nosto server hosting del sito web nella directory principale.
Come attivare robots.txt ?
Per attivare questo file modifichiamo il file index (.html o .php o .asp, a seconda di quello che avete creato) e inseriamo il meta tag all’interno della <head>:
| <meta name=”robots” content=”index,noodp,noydir,follow” /> |
salviamo e aggiorniamo nel server tale file.
N.B: Ora il file robots.txt è pronto a indicizzare il nostro sito. I tempi di indicizzazione dipendono spesso dalle query che i motori di ricerca fanno sui siti da indicizzare.
