|
| 4 diske i Raid5 - Hvor knækker filmen? Fra : Nicolai |
Dato : 01-12-04 09:21 |
|
Scenario:
Spritny HP380G4 Server, 4x 10.000rpm SCSIdiske i raid 5.
Flytning af en 800Mb fil giver 16mb/s i snit.
Spritny standard PC, 1x 7200rpm IBM IDEdisk uden raid (naturligvis)
Flytning af en 800Mb fil giver 24mb/s i snit.
HVOR knækker filmen??
Der må være noget HELT galt et sted?
Gode ideer modtages meget gerne :)
--
Med venlig hilsen / Best regards
Nicolai
| |
Troels Arvin (01-12-2004)
| Kommentar Fra : Troels Arvin |
Dato : 01-12-04 10:23 |
|
On Wed, 01 Dec 2004 09:21:00 +0100, Nicolai wrote:
> Spritny HP380G4 Server, 4x 10.000rpm SCSIdiske i raid 5.
> Flytning af en 800Mb fil giver 16mb/s i snit.
>
> Spritny standard PC, 1x 7200rpm IBM IDEdisk uden raid (naturligvis)
> Flytning af en 800Mb fil giver 24mb/s i snit.
>
> HVOR knækker filmen??
RAID 5 har et naturligt beregnings-overhead, men at det er så stort,
synes jeg også er lidt overraskende. Hvis jeg var dig, ville jeg overveje
RAID 1+0 (AKA RAID 10) eller 0+1 på serveren, hvis forskellig tuning af
serveren ikke giver markante performanceforbedringer.
I øvrigt kan det være, at der gemmer sig nogle subtile forskelle
bag dine tal: Måske er der på dit IDE-disk-system tale om, at
write-back caching er slået til, mens dit SCSI-system måske er mere
konservativt (sikkert)?
--
Greetings from Troels Arvin, Copenhagen, Denmark
| |
Nicolai (01-12-2004)
| Kommentar Fra : Nicolai |
Dato : 01-12-04 10:31 |
|
> RAID 5 har et naturligt beregnings-overhead, men at det er så stort,
> synes jeg også er lidt overraskende. Hvis jeg var dig, ville jeg overveje
Netop.
> I øvrigt kan det være, at der gemmer sig nogle subtile forskelle
> bag dine tal: Måske er der på dit IDE-disk-system tale om, at
> write-back caching er slået til, mens dit SCSI-system måske er mere
> konservativt (sikkert)?
Sikkert, men da ikke så grelt? 4 diske skal da klart kunne flytte 800mb
hurtigere?
| |
Troels Arvin (01-12-2004)
| Kommentar Fra : Troels Arvin |
Dato : 01-12-04 10:45 |
|
On Wed, 01 Dec 2004 10:31:04 +0100, Nicolai wrote:
> 4 diske skal da klart kunne flytte 800mb hurtigere?
Men der er vel i virkeligheden tale om kopiering af data, og ikke
flytning? - Hvis "ja", så skal maskinen jo både læse og skrive på
samme tid.
Stadig: Jeg synes også, der er tale om nogle underligt lave
performance-tal for din server.
Hvilket OS? - Er der evt. udkommet en nyere driver/kerne-modul til
controlleren? - Er der evt. nogle driver-parametre, du kan skrue på?
--
Greetings from Troels Arvin, Copenhagen, Denmark
| |
Nicolai (01-12-2004)
| Kommentar Fra : Nicolai |
Dato : 01-12-04 11:15 |
|
>> 4 diske skal da klart kunne flytte 800mb hurtigere?
>
> Men der er vel i virkeligheden tale om kopiering af data, og ikke
> flytning? - Hvis "ja", så skal maskinen jo både læse og skrive på
> samme tid.
Korrekt, men stadig helt hen i skoven imho?
> Stadig: Jeg synes også, der er tale om nogle underligt lave
> performance-tal for din server.
Meget endda.
> Hvilket OS? - Er der evt. udkommet en nyere driver/kerne-modul til
Win2003 server.
> controlleren? - Er der evt. nogle driver-parametre, du kan skrue på?
Intet som jeg kan se.
| |
news.tele.dk (01-12-2004)
| Kommentar Fra : news.tele.dk |
Dato : 01-12-04 12:55 |
|
Hej,
Hvilken controller ???
Vi har lige købt et Adaptec controller kort, og på 12 diske kan vi ikke få
mere end 80-90mb/sekundet
ud af controlleren på en strippet opsætning (som teoretisk set skulle levere
ca 600mb/sekundet baseret på at vi
kan få >50mb/sek ud af een)
Jeg har efterhånden talt med en del personer, og Adaptec skal man ikke regne
til i high-end'en selvom deres
kort og reklamer ser dyre ud!!!!
mvh,
Carsten
"Nicolai" <emailxyznifo@fogh.com> skrev i en meddelelse
news:41ad99a7$0$182$edfadb0f@dtext02.news.tele.dk...
>>> 4 diske skal da klart kunne flytte 800mb hurtigere?
>>
>> Men der er vel i virkeligheden tale om kopiering af data, og ikke
>> flytning? - Hvis "ja", så skal maskinen jo både læse og skrive på
>> samme tid.
>
> Korrekt, men stadig helt hen i skoven imho?
>
>> Stadig: Jeg synes også, der er tale om nogle underligt lave
>> performance-tal for din server.
>
> Meget endda.
>
>> Hvilket OS? - Er der evt. udkommet en nyere driver/kerne-modul til
> Win2003 server.
>
>> controlleren? - Er der evt. nogle driver-parametre, du kan skrue på?
> Intet som jeg kan se.
>
| |
Nicolai (01-12-2004)
| Kommentar Fra : Nicolai |
Dato : 01-12-04 14:38 |
|
> Hvilken controller ???
Smart Array 6i Controller
| |
Kay (06-12-2004)
| Kommentar Fra : Kay |
Dato : 06-12-04 09:48 |
|
Nicolai wrote to everybody in dk.edb.hardware.server :
>> Hvilken controller ???
>
> Smart Array 6i Controller
En typisk entry level controller. Ingen skrive cache og sikkert en møgsløv
processor. RAID 5 kræver en temmelig hurtig beregner for at køre realtime.
Skrive cache kompensere for dette, men nok ikke ved så store filer. Uden
cachen melder controlleren ikke skrivning færdig, før data rent faktisk
ligger på disken, og det tager lang tid fordi den ikke hurtigt nok får
beregnet paritet. HP's eget forum er fyldt med folk der stiller det samme
spørgsmål, og de har alle controllere uden skrive cache.
http://h18004.www1.hp.com/products/servers/proliantstorage/arraycontrollers
/smartarray6i/index.html
Linket der ^ beskriver den som et godt alternativ til software raid
Jeg vil prøve at få lavet et par test med en 6i og en 6400 eller 5300
senere i dag, og poste tråden foroven. De to sidste har fine processorer og
har en batteri beskyttet skrive cache, som option pack.
Der fås også skrivecache som option til 6i(se linket^), og det vil sikkert
være nok til at rede performance hvis behovet i virkelighen er væsentlig
mindre skrivninger end den du tester med.
Mvh
/Kay
| |
Nicolai (06-12-2004)
| Kommentar Fra : Nicolai |
Dato : 06-12-04 10:24 |
|
> En typisk entry level controller. Ingen skrive cache og sikkert en møgsløv
> processor. RAID 5 kræver en temmelig hurtig beregner for at køre realtime.
> Skrive cache kompensere for dette, men nok ikke ved så store filer. Uden
> cachen melder controlleren ikke skrivning færdig, før data rent faktisk
> ligger på disken, og det tager lang tid fordi den ikke hurtigt nok får
> beregnet paritet. HP's eget forum er fyldt med folk der stiller det samme
> spørgsmål, og de har alle controllere uden skrive cache.
Tak for god info.
> http://h18004.www1.hp.com/products/servers/proliantstorage/arraycontrollers
> /smartarray6i/index.html
> Linket der ^ beskriver den som et godt alternativ til software raid
Uh, er det så galt - det skal min leverandør have info om - de kaldte den en
"udemærket" controller.
> Jeg vil prøve at få lavet et par test med en 6i og en 6400 eller 5300
> senere i dag, og poste tråden foroven. De to sidste har fine processorer og
> har en batteri beskyttet skrive cache, som option pack.
Glæder jeg mig til. Lige det jeg mangler.
> Der fås også skrivecache som option til 6i(se linket^), og det vil sikkert
> være nok til at rede performance hvis behovet i virkelighen er væsentlig
> mindre skrivninger end den du tester med.
Det vil jeg overveje :)
| |
Thomas Eg Jørgensen (01-12-2004)
| Kommentar Fra : Thomas Eg Jørgensen |
Dato : 01-12-04 22:21 |
|
"news.tele.dk" <no@email.dk> wrote in message
news:41adb10f$0$56352$edfadb0f@dread16.news.tele.dk...
> Vi har lige købt et Adaptec controller kort, og på 12 diske kan vi ikke få
> mere end 80-90mb/sekundet
> ud af controlleren på en strippet opsætning (som teoretisk set skulle
levere
> ca 600mb/sekundet baseret på at vi
> kan få >50mb/sek ud af een)
>
> Jeg har efterhånden talt med en del personer, og Adaptec skal man ikke
regne
> til i high-end'en selvom deres
> kort og reklamer ser dyre ud!!!!
>
Du kan tilføje en mere til de liste, undertegnede. Jeg har en 2100S med 4stk
15.000rpm diske og kan heller ikke presse den en dag over 60-70Mbyte/sek
selvom jeg kører en RAID 0 over alle diske...Er nået til konklusionen af
kontrolleren skal ud og MegaRAID(fra LSI) skal ind i stedet...Mit
serverbudget tillader bare ikke lige 7k+moms til sådan en fætter...
--
MVH
Thomas Eg Jørgensen
*Get in, Sit down, shut up and hang on!*
| |
Peter Lykkegaard (01-12-2004)
| Kommentar Fra : Peter Lykkegaard |
Dato : 01-12-04 13:06 |
|
"Troels Arvin" wrote
> Stadig: Jeg synes også, der er tale om nogle underligt lave
> performance-tal for din server.
>
Nicolai har tidligere oplyst at han bruger den integrerede Smart Array 6i
controller på G4 modellen
Jeg formoder at det er den er skyld i den langsomme performance men
hvoromaltinger så sendte jeg Nicolai hertil for diverse opklarende spørgsmål
mht hardwaren på en HP G4 ting
- Peter
| |
Nicolai (01-12-2004)
| Kommentar Fra : Nicolai |
Dato : 01-12-04 14:42 |
|
>> Stadig: Jeg synes også, der er tale om nogle underligt lave
>> performance-tal for din server.
>>
> Nicolai har tidligere oplyst at han bruger den integrerede Smart Array 6i
> controller på G4 modellen
Korrekt, som ikke skulle være alt for elendig på den nye G4 model.
> Jeg formoder at det er den er skyld i den langsomme performance men
> hvoromaltinger så sendte jeg Nicolai hertil for diverse opklarende
> spørgsmål mht hardwaren på en HP G4 ting
Hvad burde man så kunne forvente med en kanon-controller i samme setup? (4
diske i raid5)
| |
Peter Lykkegaard (01-12-2004)
| Kommentar Fra : Peter Lykkegaard |
Dato : 01-12-04 14:54 |
|
"Nicolai" wrote
> Hvad burde man så kunne forvente med en kanon-controller i samme setup? (4
> diske i raid5)
Umiddelbart burde den kunne levere 320Mb/s per kanal, det samme som de
dyrere modeller
Sætter den sig på CPU'en når du kopierer?
Det er efterhånden længe siden jeg har haft fingrene i en serverboks,
tiderne skifter
Men sidste gang var den Compaq ting (DL380?) Dual Xeon med en firekanals
controller
Den kørte noget 0+1 på 2 af kanalerne og to gange spejl på de 2 sidste
Formattering af diskene var ikke noget man ventede specielt længe på
(Jeg kan huske at jeg tabte underkæben lidt pga hastigheden ...)
- Peter
| |
Nicolai (01-12-2004)
| Kommentar Fra : Nicolai |
Dato : 01-12-04 14:56 |
|
>> Hvad burde man så kunne forvente med en kanon-controller i samme setup? (4
>> diske i raid5)
> Umiddelbart burde den kunne levere 320Mb/s per kanal, det samme som de
> dyrere modeller
> Sætter den sig på CPU'en når du kopierer?
Slet ikke - <10%
> Det er efterhånden længe siden jeg har haft fingrene i en serverboks,
> tiderne skifter
? :)
> Men sidste gang var den Compaq ting (DL380?) Dual Xeon med en firekanals
> controller
> Den kørte noget 0+1 på 2 af kanalerne og to gange spejl på de 2 sidste
Ja ok, det er sikkert måden at gøre det på :)
> Formattering af diskene var ikke noget man ventede specielt længe på
> (Jeg kan huske at jeg tabte underkæben lidt pga hastigheden ...)
Jeg er klar over man rider som man sadler, men det her virker for elendigt
til at det skal være den hastighed der er acceptabel.
| |
Martin Rise Christen~ (01-12-2004)
| Kommentar Fra : Martin Rise Christen~ |
Dato : 01-12-04 15:23 |
|
"Nicolai" <emailxyznifo@fogh.com> skrev i en meddelelse
news:41adcd7a$0$170$edfadb0f@dtext02.news.tele.dk...
>
>> Men sidste gang var den Compaq ting (DL380?) Dual Xeon med en firekanals
>> controller
>> Den kørte noget 0+1 på 2 af kanalerne og to gange spejl på de 2 sidste
> Ja ok, det er sikkert måden at gøre det på :)
>
>> Formattering af diskene var ikke noget man ventede specielt længe på
>> (Jeg kan huske at jeg tabte underkæben lidt pga hastigheden ...)
>
> Jeg er klar over man rider som man sadler, men det her virker for elendigt
> til at det skal være den hastighed der er acceptabel.
Jeg har en G3 af samme type med en 5i controller i - hvordan har du lavet
testen - så kan jeg da lige prøve at gøre det samme - og se hvilke tal jeg
får.
Mvh,
Martin Rise Christensen
| |
Nicolai (01-12-2004)
| Kommentar Fra : Nicolai |
Dato : 01-12-04 15:29 |
|
> Jeg har en G3 af samme type med en 5i controller i - hvordan har du lavet
> testen - så kan jeg da lige prøve at gøre det samme - og se hvilke tal jeg
> får.
5i? er den god eller er det også standard-controlleren?
Anyway, har 4 diske i raid5 - og har såmænd bare kopieret en ca. 800mb fil og
så taget tid på det.
Ser frem til dit resultat.
| |
Peter Lykkegaard (01-12-2004)
| Kommentar Fra : Peter Lykkegaard |
Dato : 01-12-04 16:03 |
|
"Nicolai" wrote
>> Jeg har en G3 af samme type med en 5i controller i - hvordan har du lavet
>> testen - så kan jeg da lige prøve at gøre det samme - og se hvilke tal
>> jeg får.
>
> 5i? er den god eller er det også standard-controlleren?
>
Det er den ældre onboard model med mindre throughput end 6i
- Peter
| |
Martin Rise Christen~ (01-12-2004)
| Kommentar Fra : Martin Rise Christen~ |
Dato : 01-12-04 16:40 |
|
"Peter Lykkegaard" <polonline@hotmail.com> skrev i en meddelelse
news:3164paF3747cmU1@individual.net...
> "Nicolai" wrote
>
>>> Jeg har en G3 af samme type med en 5i controller i - hvordan har du
>>> lavet testen - så kan jeg da lige prøve at gøre det samme - og se hvilke
>>> tal jeg får.
>>
>> 5i? er den god eller er det også standard-controlleren?
>>
> Det er den ældre onboard model med mindre throughput end 6i
>
> - Peter
Ja undskyld - min raid 5 controller er faktisk en smart array 6400 ekstra
board - og mine to system diske kører raid 1+0 på den indbyggede 5i
controller.
Kopiering af en 656mb fil til de 2 systemdiske tog 10:13 sekunder dvs. ca.
65mb/min
Retur til Raid 5 systemet tog det 5:24 dvs. ca. 119mb/min
Og endelig kopiering på raid 5 systemet med en 6400 controller tog det:
10:23 dvs. ca. 63mb/min
Alt disse målinger er foretaget på en idriftsat server, der stod og havde
gang i noget backup via usb porten, samt var aktiv via nettet - så derfor er
de jo ikke 100% reelle men da en meget god indikator. Det skal også lige
nævnes at raid 5 har en død disk - dvs. 1 ud af 4 diske er der ikke (den
skulle gerne komme fra HP i morgen).
Raidet er dannet af 4 146gb 10k diske hotplug org. hp diske.
Alt i alt er jeg meget godt tilfreds. Dog ser det ud til at mit raid 5 ikke
er noget rekordsættende - men det dækker fint behovet.
Mvh,
Martin Rise Christensen
| |
Jens Mikkel Lausten (01-12-2004)
| Kommentar Fra : Jens Mikkel Lausten |
Dato : 01-12-04 15:30 |
| | |
Jens Mikkel Lausten (01-12-2004)
| Kommentar Fra : Jens Mikkel Lausten |
Dato : 01-12-04 15:34 |
|
Nicolai wrote:
> Scenario:
>
> Spritny HP380G4 Server, 4x 10.000rpm SCSIdiske i raid 5.
> Flytning af en 800Mb fil giver 16mb/s i snit.
>
> Spritny standard PC, 1x 7200rpm IBM IDEdisk uden raid (naturligvis)
> Flytning af en 800Mb fil giver 24mb/s i snit.
>
> HVOR knækker filmen??
>
> Der må være noget HELT galt et sted?
> Gode ideer modtages meget gerne :)
Stripe size ?, Cacheline size ?, Systemboard ? PCI eller PCI-X ?
Lidt flere oplysninger ville hjælpe.
Mikkel
| |
Nicolai (01-12-2004)
| Kommentar Fra : Nicolai |
Dato : 01-12-04 18:02 |
|
> Stripe size ?, Cacheline size ?, Systemboard ? PCI eller PCI-X ?
> Lidt flere oplysninger ville hjælpe.
Stripe size - not sure
Cacheline? donno :)
Systemboard Donno ;)
Men det er temmeligt sikkert PCI-X - serveren er sidste nye model fra HP :)
| |
Jens Mikkel Lausten (29-12-2004)
| Kommentar Fra : Jens Mikkel Lausten |
Dato : 29-12-04 13:49 |
|
Nicolai wrote:
>> Stripe size ?, Cacheline size ?, Systemboard ? PCI eller PCI-X ?
>> Lidt flere oplysninger ville hjælpe.
>
> Stripe size - not sure
>
> Cacheline? donno :)
>
> Systemboard Donno ;)
>
> Men det er temmeligt sikkert PCI-X - serveren er sidste nye model fra
> HP :)
Hej Nicolai.
Jeg har nu testet mit raid 5 drev.
Tyan dual Xeon 2.40 GHz, MegaRaid 320-2X, 4 stk Maxtor Atlas 15K II i
raid 5
Kopiering af en 1400 Megabyte stor fil tager ca. 25 sek (ca 56 Mib/s).
Ved at sætte stripe size op kunne denne tid sikkert reduceres men det
vil så igen gå ud over ydelsen, ved mere almindelig (mindre fil
størrelser) brug.
Jeg har uploadet et par screenshots fra ZD Winbench 99, i dk.binaer
under AAAAraid5.
Mikkel
| |
Nicolai (29-12-2004)
| Kommentar Fra : Nicolai |
Dato : 29-12-04 16:03 |
|
> Kopiering af en 1400 Megabyte stor fil tager ca. 25 sek (ca 56 Mib/s).
> Ved at sætte stripe size op kunne denne tid sikkert reduceres men det vil
> så igen gå ud over ydelsen, ved mere almindelig (mindre fil størrelser)
> brug.
Tak for info.
| |
|
|