Indirizziamo
i ragni
Abbiamo
visto che, qualsiasi cosa facciamo, siamo noi a doverci
adattare agli spider dei search engine. E' possibile però far
adattare i robots alle nostre esigenze, indirizzandoli (Cloaking)
all'interno del sito, a nostro piacimento.
Se
foste in possesso di un
dominio, è possibile creare un file di nome robots.txt
che va inserito nella root principale (www.dominio.com/robots.txt).
In questo file, vanno inserite le istruzioni per
"governare" il ragno. Ad esempio:
- Escludere tutti i robots dai files contenuti nel
dominio:
User-agent:
*
Disallow:
/
- Consentire l'accesso a tutti i robots:
User-agent: *
Disallow:
(è anche possibile non creare il file o lasciarlo vuoto)
- Escludere tutti i robots da una o più cartelle:
User-agent:
*
Disallow:
/cgi_bin/
Disallow:
/secret/
- Escludere un robot (nell'esempio quello di Excite) da
alcune cartelle:
User-agent:
ArchitextSpider
Disallow:
/cgi_bin/
Disallow: /secret/
- Escludere un robot (nell'esempio quello di Altavista)
da tutti i file del dominio:
User-agent:
Scooter
Disallow:
/
- Lasciare passare un unico robot (nell'esempio quello
di Hotbot):
User-agent: Slurp
Disallow:
User-agent: *
Disallow: /
Per conoscere i nomi dei ragni di altri motori di ricerca,
rimandiamo alle pagine dei rispettivi search engines.
Se non in possesso di
un dominio, esiste un meta tag ad hoc, che nonostante la
minore flessibilità e potenza rispetto all'inserimento del
file robots.txt,
consente un discreto risultato:
<meta name="robots"
content="noindex, nofollow">