/ Forside / Teknologi / Udvikling / HTML / Nyhedsindlæg
Login
Glemt dit kodeord?
Brugernavn

Kodeord


Reklame
Top 10 brugere
HTML
#NavnPoint
molokyle 11184
Klaudi 5506
bentjuul 3377
severino 2040
smorch 1950
strarup 1525
natmaden 1396
scootergr.. 1320
e.c 1150
10  miritdk 1110
Søgerobotter og indeksering
Fra : Thrane


Dato : 10-11-06 16:18

Hej...

Håber der er et par kvikke hoveder der kan hjælpe mig på vej.
Jeg har et website og der benytter jeg denne robots.txt:

User-agent: *

Disallow: /admin
Disallow: /app
Disallow: /code
Disallow: /gfx
Disallow: /inc
Disallow: /widescreen.asp
Disallow: /avisprogram.asp

Nu ser jeg i statstikken at Yahoo alligevel indeksere f.eks.
/default.asp?k=0 pg lign. sider.
Andre søgemaskiner holder sig til forsiden.
Så 2 ting...
Hvordan får jeg Yahoo til at holde op med det?

Eller efter lidt overvejelse: hvordan får jeg Yahoo og de andre til at
indeksere forsiden OG kun sider der ser såleedes her ud:
/default.asp?f=xxxx (hvor xxxx er tal fra 0001 og opefter...)

Pft.
Thrane



 
 
Allan Vebel (11-11-2006)
Kommentar
Fra : Allan Vebel


Dato : 11-11-06 01:44

Thrane skrev:

> Hvordan får jeg Yahoo til at holde op med det?

Der er enkelte søgemaskiner der er fuldstændig
ligeglad med hvad du har skrevet i din robots.txt,
men om Yahoo er en af dem, husker jeg ikke.

> Eller efter lidt overvejelse: hvordan får jeg Yahoo
> og de andre til at indeksere forsiden OG kun sider
> der ser således her ud:

Jeg tror ikke på at du kan styre hvordan de opskure
søgemaskiner søger - du må blot koncentrere dig om
dem der gør det ordentligt.

--
Allan Vebel
http://html-faq.dk



Jens Gyldenkærne Cla~ (11-11-2006)
Kommentar
Fra : Jens Gyldenkærne Cla~


Dato : 11-11-06 09:55

Allan Vebel skrev:

> Der er enkelte søgemaskiner der er fuldstændig
> ligeglad med hvad du har skrevet i din robots.txt,

Det er vist meget få - eller små - søgemaskiner.

> men om Yahoo er en af dem, husker jeg ikke.

Det er Yahoo ikke. Alle større søgemaskiner følger robots.txt-
standarden - det ville være tåbeligt at gøre andet (da søgemaskinen
udover badwill så risikerer at blive blokeret på anden vis).
--
Jens Gyldenkærne Clausen
Svar venligst under det du citerer, og citer kun det der er
nødvendigt for at forstå dit svar i sammenhængen. Se hvorfor og
hvordan på http://usenet.dk/netikette/citatteknik.html

Thrane (11-11-2006)
Kommentar
Fra : Thrane


Dato : 11-11-06 11:22


"Jens Gyldenkærne Clausen" <jens@gyros.invalid> wrote in message
news:Xns987864CB92220jcdmfdk@gyrosmod.cybercity.dk...
> Allan Vebel skrev:
>
>> Der er enkelte søgemaskiner der er fuldstændig
>> ligeglad med hvad du har skrevet i din robots.txt,
>
> Det er vist meget få - eller små - søgemaskiner.
>
>> men om Yahoo er en af dem, husker jeg ikke.
>
> Det er Yahoo ikke. Alle større søgemaskiner følger robots.txt-
> standarden - det ville være tåbeligt at gøre andet (da søgemaskinen
> udover badwill så risikerer at blive blokeret på anden vis).
> --
> Jens Gyldenkærne Clausen
> Svar venligst under det du citerer, og citer kun det der er
> nødvendigt for at forstå dit svar i sammenhængen. Se hvorfor og
> hvordan på http://usenet.dk/netikette/citatteknik.html

Men Yahoo har netop indekseret videre fra forsiden?

/Thrane



Jens Gyldenkærne Cla~ (11-11-2006)
Kommentar
Fra : Jens Gyldenkærne Cla~


Dato : 11-11-06 11:58

Thrane skrev:

>> Det er Yahoo ikke. Alle større søgemaskiner følger
>> robots.txt- standarden - det ville være tåbeligt at gøre
>> andet (da søgemaskinen udover badwill så risikerer at blive
>> blokeret på anden vis).

> Men Yahoo har netop indekseret videre fra forsiden?

Det er fordi du ikke har bedt den om at lade være (jf mit andet
svar).

Du har bedt om at Yahoo skal gå uden om specifikke underkataloger,
så hvis adresser herunder bliver indekseret, er der noget galt. Men
der er ikke noget forkert i at Yahoo indekserer forskellige sider i
roden når du ikke har lavet disallow dér.
--
Jens Gyldenkærne Clausen
Svar venligst under det du citerer, og citer kun det der er
nødvendigt for at forstå dit svar i sammenhængen. Se hvorfor og
hvordan på http://usenet.dk/netikette/citatteknik.html

Jens Gyldenkærne Cla~ (11-11-2006)
Kommentar
Fra : Jens Gyldenkærne Cla~


Dato : 11-11-06 09:59

Thrane skrev:

> User-agent: *
>
> Disallow: /admin
> Disallow: /app
> Disallow: /code
> Disallow: /gfx
> Disallow: /inc
> Disallow: /widescreen.asp
> Disallow: /avisprogram.asp

Herover har du ikke nævnt default.asp eller roden.

> Nu ser jeg i statstikken at Yahoo alligevel indeksere f.eks.
> /default.asp?k=0 pg lign. sider.

- så jeg forstår ikke at du undrer dig over indekseringen af
default.asp i roden.


> Hvordan får jeg Yahoo til at holde op med det?

Prøv med noindex:
<http://help.yahoo.com/help/us/ysearch/slurp/slurp-04.html>


> Eller efter lidt overvejelse: hvordan får jeg Yahoo og de
> andre til at indeksere forsiden OG kun sider der ser såleedes
> her ud: /default.asp?f=xxxx (hvor xxxx er tal fra 0001 og
> opefter...)

Lad asp-koden generere en noindex-kode baseret på querystringen
(sådan så du har noindex på de sider du ikke vil have indekseret).

Se også mulighederne på google her:
<http://www.google.com/intl/da/remove.html>
--
Jens Gyldenkærne Clausen
Svar venligst under det du citerer, og citer kun det der er
nødvendigt for at forstå dit svar i sammenhængen. Se hvorfor og
hvordan på http://usenet.dk/netikette/citatteknik.html

Thrane (11-11-2006)
Kommentar
Fra : Thrane


Dato : 11-11-06 11:25


"Jens Gyldenkærne Clausen" <jens@gyros.invalid> wrote in message
news:Xns987865A1D81Djcdmfdk@gyrosmod.cybercity.dk...

>
> Herover har du ikke nævnt default.asp eller roden.
>
>> Nu ser jeg i statstikken at Yahoo alligevel indeksere f.eks.
>> /default.asp?k=0 pg lign. sider.
>
> - så jeg forstår ikke at du undrer dig over indekseringen af
> default.asp i roden.
>
>
>> Hvordan får jeg Yahoo til at holde op med det?
>
> Prøv med noindex:
> <http://help.yahoo.com/help/us/ysearch/slurp/slurp-04.html>
>
>
>> Eller efter lidt overvejelse: hvordan får jeg Yahoo og de
>> andre til at indeksere forsiden OG kun sider der ser såleedes
>> her ud: /default.asp?f=xxxx (hvor xxxx er tal fra 0001 og
>> opefter...)
>
> Lad asp-koden generere en noindex-kode baseret på querystringen
> (sådan så du har noindex på de sider du ikke vil have indekseret).
>
> Se også mulighederne på google her:
> <http://www.google.com/intl/da/remove.html>
> --
> Jens Gyldenkærne Clausen
> Svar venligst under det du citerer, og citer kun det der er
> nødvendigt for at forstå dit svar i sammenhængen. Se hvorfor og
> hvordan på http://usenet.dk/netikette/citatteknik.html

Tak, Jens...
Vil kigge lidt på det!

Måske du vil give et godt råd...
Siden er en biografside.
Vil du anbefale at man indeksere samtlige sider?
Der er jo ret stor udskiftning i siderne med nye film og der skulle jo nødig
ligge "gamle" siderne i søgemaskinerne...

/Thrane



Jens Gyldenkærne Cla~ (11-11-2006)
Kommentar
Fra : Jens Gyldenkærne Cla~


Dato : 11-11-06 12:00

Thrane skrev:

> Måske du vil give et godt råd...
> Siden er en biografside.
> Vil du anbefale at man indeksere samtlige sider?
> Der er jo ret stor udskiftning i siderne med nye film og der
> skulle jo nødig ligge "gamle" siderne i søgemaskinerne...

Jeg ville ikke tage det så tungt. Men du kan evt. sørge for at
søgemaskinen ikke må vise cachede sider (noarchive)

NB: Læs gerne min signatur.
--
Jens Gyldenkærne Clausen
Svar venligst under det du citerer, og citer kun det der er
nødvendigt for at forstå dit svar i sammenhængen. Se hvorfor og
hvordan på http://usenet.dk/netikette/citatteknik.html

Søg
Reklame
Statistik
Spørgsmål : 177552
Tips : 31968
Nyheder : 719565
Indlæg : 6408847
Brugere : 218887

Månedens bedste
Årets bedste
Sidste års bedste