---

Hejsa

Hvis nu man skulle få lyst til at downloade Internettet - hvor stor en
disk skulle man så have?

Er der en der ligger inde med noget statistik over antallet af sider, den
gennemsnitlige størrelse på en side, ...?

Mvh.
/Thomas

---

"Thomas Lindgaard" <thomas@it-snedkeren.BLACK_HOLE.dk> skrev i en meddelelse
news:pan.2004.10.16.12.32.00.250760@it-snedkeren.BLACK_HOLE.dk...
> Hejsa
>
> Hvis nu man skulle få lyst til at downloade Internettet - hvor stor en
> disk skulle man så have?
>
> Er der en der ligger inde med noget statistik over antallet af sider, den
> gennemsnitlige størrelse på en side, ...?
>
> Mvh.
Ville nok tage det meste af et liv :) Med mindre du sidder på noget 100Mbit
linje ?! :)

---

On Sat, 16 Oct 2004 17:11:55 +0200, Jan Pedersen wrote:

> Ville nok tage det meste af et liv :) Med mindre du sidder på noget 100Mbit
> linje ?! :)

Æv - vil det sige at min 512/128 ADSL ikke kan gøre det? :)

Tak for svarene, folkens. Jeg må vist slå mig til tåls med det antal
sider Google angiver og den gennemsnitsstørrelse som man kan udlede fra
følgende artikel:

http://research.compaq.com/SRC/mercator/papers/www/paper.html

(se figuren lige før konklusionen).

Mvh.
/Thomas

---

"Thomas Lindgaard" <thomas@it-snedkeren.BLACK_HOLE.dk> wrote in message
news:pan.2004.10.16.12.32.00.250760@it-snedkeren.BLACK_HOLE.dk...
> Hejsa
>
> Hvis nu man skulle få lyst til at downloade Internettet - hvor stor en
> disk skulle man så have?

Uden at ville agere specielt "videnskabelig" : Det er ganske enkelt umuligt
at svare på.

> Er der en der ligger inde med noget statistik over antallet af sider, den
> gennemsnitlige størrelse på en side, ...?

Google har pt ifølge dem selv 4.285.199.774 sider indekseret, men i tilgift
til det findes der jo myriader af dynamisk genererede sider, så det reelle
tal er helt sikkert langt større end det. Hvis man SPT anslår at en
gennemsnitlig side er på 15 kb (??) bruger Google vel mindst
15*1.024*4.285.199.774=65.820.668.528.640 bytes=59.863549 terabyte - som de
alene bruger til caching, og hertil skal lægges et enormt backuplager da
Google bruger harddiskkapaictet og ikke RAID eller andre backupformer.
Harddiskkapacitet på 60 terabyte vil alene i f.eks DELL 250GB HDD'ere a
3.419 kr koste sammenlagt 838.339 kr

---

Konrad skrev:

>Harddiskkapacitet på 60 terabyte vil alene i f.eks DELL 250GB HDD'ere a
>3.419 kr koste sammenlagt 838.339 kr

Og så har du ikke taget hensyn til at nogle af linkene på nettet
fører til megastore filer og ikke små nuttede hjemmesider.
Redahat ligger f.eks. til download rundt omkring, og den fylder
to cd'er.

--
Bertel
http://bertel.lundhansen.dk/   FIDUSO: http://fiduso.dk/

---

"Bertel Lund Hansen" <nospamius@lundhansen.dk> wrote in message
news:lpe2n0p1gmivm485cl6pbgpqicp84edhid@news.stofanet.dk...
> Konrad skrev:
>
> >Harddiskkapacitet på 60 terabyte vil alene i f.eks DELL 250GB HDD'ere a
> >3.419 kr koste sammenlagt 838.339 kr
>
> Og så har du ikke taget hensyn til at nogle af linkene på nettet
> fører til megastore filer og ikke små nuttede hjemmesider.
> Redahat ligger f.eks. til download rundt omkring, og den fylder
> to cd'er.

Ikke helt "glemt" det, for Thomas efterlyste antallet af "sider" - Google
cacher jo heller ikke fil-links på sider...Men klart - jeg tænkte lidt på
det samme, men mere mht de dynamiske sider der eksponerer megastore
databaser.

---

> Google har pt ifølge dem selv 4.285.199.774 sider indekseret, men i
tilgift
> til det findes der jo myriader af dynamisk genererede sider, så det reelle
> tal er helt sikkert langt større end det. Hvis man SPT anslår at en
> gennemsnitlig side er på 15 kb (??) bruger Google vel mindst
> 15*1.024*4.285.199.774=65.820.668.528.640 bytes=59.863549 terabyte - som
de
> alene bruger til caching, og hertil skal lægges et enormt backuplager da
> Google bruger harddiskkapaictet og ikke RAID eller andre backupformer.
> Harddiskkapacitet på 60 terabyte vil alene i f.eks DELL 250GB HDD'ere a
> 3.419 kr koste sammenlagt 838.339 kr

Det vil så tage Thomas mindst 31,8475 år at downloade bare googles
cachelager på hans 512 Kb download linie, på en 100 Mbit ville det tage
mindst 58 døgn 2 timer og 55 minutter!

Hvis man så antager at hver hjemmeside i gennemsnit tager 0,5 MB plads, ja
så er det de tider ganget med 34,13333!
Der er jo trodsalt mange store filer på nogen servere :)

Brian

---

Brian Lund wrote:
> Det vil så tage Thomas mindst 31,8475 år at downloade bare googles
> cachelager på hans 512 Kb download linie, på en 100 Mbit ville det
> tage mindst 58 døgn 2 timer og 55 minutter!

Jeg har 100 mbit net. Hvis du stiller diske til rådighed er jeg frisk på at
prøve ;)

--
Gismo

---

"Thomas Lindgaard" <thomas@it-snedkeren.BLACK_HOLE.dk> wrote in message
news:pan.2004.10.16.12.32.00.250760@it-snedkeren.BLACK_HOLE.dk...
> Hejsa
>
> Hvis nu man skulle få lyst til at downloade Internettet - hvor stor en
> disk skulle man så have?
>
> Er der en der ligger inde med noget statistik over antallet af sider, den
> gennemsnitlige størrelse på en side, ...?
>
Husk på at internettet er jo meget mere World Wide Web...

Gad vide hvordan man downloader en SSH server, nogen der kender et godt
program?!?!?!

---

Thomas Lindgaard wrote:

> Hejsa
>
> Hvis nu man skulle få lyst til at downloade Internettet - hvor stor en
> disk skulle man så have?
>
> Er der en der ligger inde med noget statistik over antallet af sider, den
> gennemsnitlige størrelse på en side, ...?
>
> Mvh.
> /Thomas

Hej Thomas

Internettet er både www, nyhedsgrupper, påkoblede databaser...osv.

Hvis du indskrænker dig til www, kunne du spørge:

http://web.archive.org/
Citat: "...Browse through 30 billion web pages archived from 1996 to a
few months ago..."


http://www.archive.org/web/hardware.php
Citat: "...The HP computers were about $1180 each. A rack holds 32
(without a switch) so that's $37760 per rack. The racks with switches
can only hold 31 and the switch is about $3000 so those racks are $39580
each..."

http://web.archive.org/web/*/http://dmi.dk

Siden viser backup af DMIs hjemmeside, flere gange om året, startende i
1996!

Men det er ikke altid med billeder - DMI anno december 1996:

http://web.archive.org/web/19961221165806/http://www.dmi.dk/

mvh/Glenn

-

---

Glenn Møller-Holst <glenn@bitnisse.onedot.dk> writes:

> http://web.archive.org/
> Citat: "...Browse through 30 billion web pages archived from 1996 to a
> few months ago..."

Det er langt fra hele www de arkivere. Jeg har ofte ledt efter obskure
side som de ikke havde, men hvor de havde sider højere oppe i et
websteds hierarki.

--
Peter Makholm | If you can't do any damage as root, are you still
peter@makholm.net | really root?
http://hacking.dk | -- Derek Gladding about SELinux

---

"Peter Makholm" <peter@makholm.net> wrote in message
news:87u0sua87q.fsf@xyzzy.adsl.dk...
> Glenn Møller-Holst <glenn@bitnisse.onedot.dk> writes:
>
> > http://web.archive.org/
> > Citat: "...Browse through 30 billion web pages archived from 1996 to a
> > few months ago..."
>
> Det er langt fra hele www de arkivere. Jeg har ofte ledt efter obskure
> side som de ikke havde, men hvor de havde sider højere oppe i et
> websteds hierarki.

Jeg har præcis samme erfaring(er) med the WayBackMachine - jeg kender den
nøjagtige unikke URL på en side jeg kan huske, og alligevel optræder den
ikke i arkivet.

---

"Konrad" <david_konrad@hotmail.com> writes:

> Jeg har præcis samme erfaring(er) med the WayBackMachine - jeg kender den
> nøjagtige unikke URL på en side jeg kan huske, og alligevel optræder den
> ikke i arkivet.

Det er muligt at bede de fleste søge/arkiv bots om ikke at arkivere og
gemme sider og sites. Se f.eks. robots.txt

--
Thomas Klietsch
m a t h n e s s @ z 4 2 . d k

---

Thomas Lindgaard <thomas@it-snedkeren.BLACK_HOLE.dk> writes:

> Hvis nu man skulle få lyst til at downloade Internettet - hvor stor en
> disk skulle man så have?

Tillægsspørgsmål: Hvis man offentliggør sit arkiv på nettet, hvor
stor skal disken *så* være?