us skrev:
> OK, så jeg laver en robots.txt file med denne text,
>
> # robots.txt for
http://www.skeel.info/index.php/
> User-agent: BecomeBot
> Disallow: cgi-bin
>
> og sætter den ind i root directory, er det rigtigt forstået.
Under alle omstændigheder directory angivelse:
User-agent: BecomeBot
Disallow: /cgi-bin/
Men hvorfor ikke
User-agent: *
Disallow: /cgi-bin/
Der forhindrer alle robotter i at indeksere
/cgi-bin/?
Obs også - så vidt jeg ved - skal du være ultimativt
sikker på robottens navn, der sagtens kan være et
andet end søgemaskinens navn. Du kan næsten kun finde
det i webserverens logfil.
Jeg forhindrer også søgning i mange andre
foldere end cgi-bin, for eksempel inkluderede filer
billeder og JavaScript ressourcer.
--
Med venlig hilsen
Jørgen Farum Jensen
http://www.webdesign101.dk
..