/ Forside / Teknologi / Udvikling / HTML / Nyhedsindlæg
Login
Glemt dit kodeord?
Brugernavn

Kodeord


Reklame
Top 10 brugere
HTML
#NavnPoint
molokyle 11184
Klaudi 5506
bentjuul 3377
severino 2040
smorch 1950
strarup 1525
natmaden 1396
scootergr.. 1320
e.c 1150
10  miritdk 1110
robot stopper
Fra : Ukendt


Dato : 14-08-06 00:50

Hej

Jeg ville gerne stoppe denne robot på min side
User-agent: BecomeBot
Disallow: cgi-bin

Hvordan gør jeg det, forklaringen på det må gerne skæres ud i pap ;)

Venlig hilsen Peter
--
homepage:http://www.skeel.info/



 
 
Jørgen Farum Jensen (14-08-2006)
Kommentar
Fra : Jørgen Farum Jensen


Dato : 14-08-06 10:58

us skrev:
> Hej
>
> Jeg ville gerne stoppe denne robot på min side
> User-agent: BecomeBot
> Disallow: cgi-bin
>
> Hvordan gør jeg det, forklaringen på det må gerne skæres ud i pap ;)
>

Hele sagen er udmærket forklaret her:

http://www.robotstxt.org/wc/exclusion.html
--

Med venlig hilsen

Jørgen Farum Jensen
http://www.webdesign101.dk
..

Ukendt (14-08-2006)
Kommentar
Fra : Ukendt


Dato : 14-08-06 11:28

OK, så jeg laver en robots.txt file med denne text,

# robots.txt for http://www.skeel.info/index.php/
User-agent: BecomeBot
Disallow: cgi-bin

og sætter den ind i root directory, er det rigtigt forstået.

Hilsen Peter
--
Jørgen Farum Jensen wrote:
> us skrev:
>> Hej
>>
>> Jeg ville gerne stoppe denne robot på min side
>> User-agent: BecomeBot
>> Disallow: cgi-bin
>>
>> Hvordan gør jeg det, forklaringen på det må gerne skæres ud i
>> pap ;)
>
> Hele sagen er udmærket forklaret her:
>
> http://www.robotstxt.org/wc/exclusion.html



Jørgen Farum Jensen (14-08-2006)
Kommentar
Fra : Jørgen Farum Jensen


Dato : 14-08-06 12:06

us skrev:
> OK, så jeg laver en robots.txt file med denne text,
>
> # robots.txt for http://www.skeel.info/index.php/
> User-agent: BecomeBot
> Disallow: cgi-bin
>
> og sætter den ind i root directory, er det rigtigt forstået.

Under alle omstændigheder directory angivelse:

User-agent: BecomeBot
Disallow: /cgi-bin/

Men hvorfor ikke

User-agent: *
Disallow: /cgi-bin/

Der forhindrer alle robotter i at indeksere
/cgi-bin/?

Obs også - så vidt jeg ved - skal du være ultimativt
sikker på robottens navn, der sagtens kan være et
andet end søgemaskinens navn. Du kan næsten kun finde
det i webserverens logfil.

Jeg forhindrer også søgning i mange andre
foldere end cgi-bin, for eksempel inkluderede filer
billeder og JavaScript ressourcer.

--

Med venlig hilsen

Jørgen Farum Jensen
http://www.webdesign101.dk
..

Søg
Reklame
Statistik
Spørgsmål : 177552
Tips : 31968
Nyheder : 719565
Indlæg : 6408847
Brugere : 218887

Månedens bedste
Årets bedste
Sidste års bedste