du laver tekstfil der hedder robots.txt og placeres ved siden af default eller index filen
her et par eksempler på hvad der skal stå i tekstfilen robots.txt
Eksempel: Ingen robotter må læse sider
Følgende regel vil ekskludere alle robotter fra hele websitet:
Kode
User-agent: *
Disallow: / |
Eksempel: Ingen robotter må læse en bestemt mappe
Følgende regel vil fortælle alle robotter, at de ikke må indeksere filer og undermapper til mappen ved navn "nixpille":
Kode
User-agent: *
Disallow: /nixpille/ |
Eksempel: Ingen robotter må læse en bestemt undermappe
Følgende regel vil fortælle alle robotter, at de ikke må indeksere filerne i undermappen, til den offentlige mappe, ved navn "offentlig/hemmelig":
Kode
User-agent: *
Disallow: /offentlig/hemmelig/ |
Eksempel: Ingen robotter må læse en bestemt fil
Følgende regel vil fortælle alle robotter, at de ikke må indeksere filen "privateferiebilleder.htm":
Kode
User-agent: *
Disallow: /privateferiebilleder.htm |
Eksempel: En bestemt robot nægtes adgang
Følgende regel fortæller at robotten Webcrawler ikke må indeksere sitet, mens alle andre har adgang:
User-agent: WebCrawler
Disallow: /
Kode
User-agent: *
Disallow: |
Eksempel: Kun én fil må læses
Da der ikke er noget, som hedder "allow", er der to muligheder for at nå det ønskede resultat:
Løsning 1:
De filer, som ikke ønskes indekseret placeres i en bestemt mappe, som der forbydes adgang til:
Kode
User-agent: *
Disallow: /privatefiler/ |
Løsning 2:
De filer, som ikke ønskes indekseret forbydes en for en:
Kode
User-agent: *
Disallow: /privatfil1.htm
Disallow: /privatfil2.htm
Disallow: /privatfil3.htm
Disallow: /privatfil4.htm |
men husk det tager tid det kan godt gå op til et halv år inden den ændring du laver nu er at se i søgemaskinerne
du kan også fjerne dine adresser på google så de ikke bliver indekseret du kan få hjælp her
http://www.google.dk/intl/da/remove.html