Pistolprinsen skrev:
> Virker det ????
Ja. Alle seriøse søgemaskiner følger standarden vedr. robot-
ekskludering. Omvendt skal man ikke forveksle robot-ekskludering
med egentlig adgangskontrol - dels er der "bad bots" der indekserer
hvad som helst, dels kræver det bare et enkelt link fra en side
uden "noindex/nofollow" for at få din side til at dukke op.
> Kan dem, der laver søgerobotter ikke blot bede deres robotter
> om ikke at tage hensyn til dette?!?
Som Henrik Stidsen skrev er det den anden vej rundt - hvis man
laver en søgerobot uden at implementere robot-ekskludering (brug af
<meta name="robots" ...> og robots.txt), vil den også indeksere
ekskluderede filer.
Men hvorfor skulle en søgerobot ignorere en opfordring til at
ignorere en side? Hvis robot-ekskludering ikke virkede, kunne
sideejere begynde at anvende ekskludering på baggrund af userAgent
- noget der måske ville ekskludere flere filer end tilsigtet. Der
er ingen grund til at en søgemaskine skal lede efter indhold man
forsøger at holde skjult - problemet med mange søgninger er ikke at
man ikke får nogle resultater men snarere at man får alt for mange.
NB: Læs gerne min signatur.
--
Jens Gyldenkærne Clausen
Svar venligst under det du citerer, og citer kun det der er
nødvendigt for at forstå dit svar i sammenhængen. Se hvorfor og
hvordan på
http://usenet.dk/netikette/citatteknik.html