Nikolaj Hviid wrote:
>
> Prøv at læse disse artikler på html.dk
http://www.html.dk/artikler/00007 og
>
http://www.html.dk/artikler/00003 Så har du da lidt mere at bestemme overfor
> søgemaskinerne.
Artikel 3 er fin nok. Jeg vil anbefale, at bruge
robots.txt fremfor et robots meta tag. Brug kun
meta tagget hvis robots.txt ikke er muligt. Se i
øvrigt også:
http://www.robotstxt.org/wc/exclusion.html
Hvad angår problemet med, at robots.txt kan bruges
til at finde dine hemmelige dokumenter, så er der
en simpel løsning. Lad være med at skrive den fulde
sti i robots.txt filen. Du skal bare skrive nok til,
at filen identificeres entydigt, og håb så på, at
man ikke kan gætte resten. Det bliver frarådet at
lave en robots.txt fil med dette indhold:
User-agent: *
Disallow: /meget_hemmelig_side.htm
Men de nævner ikke, at man bare kunne have skrevet
følgende i sin robots.txt fil:
User-agent: *
Disallow: /mege
Sidstnævnte vil også forbyde roboterne at hente
siden selvom de måtte finde den. Og dog kan man
ikke udfra robots.txt filen se, hvad den forbudte
fil faktisk hedder.
Bemærk, at en fil listet i robots.txt faktisk
stadig kan dukkes op i en søgemaskine. Hvis der
findes mange links til siden, og et søgeord
indgår enten i linkteksten eller i URLen, så kan
Google godt finde på at aflevere URLen som et
søgeresultat, selvom Google aldrig har hentet
siden. Det vil selvfølgelig være uden det sædvanlige
uddrag fra siden og adgang til en cachet udgave.
--
Kasper Dupont -- der bruger for meget tid paa usenet.
For sending spam use mailto:aaarep@daimi.au.dk
/* Would you like fries with that? */