/ Forside / Teknologi / Hardware / Mac / Nyhedsindlæg
Login
Glemt dit kodeord?
Brugernavn

Kodeord


Reklame
Top 10 brugere
Mac
#NavnPoint
UlrikB 4810
kipros 1675
Klaudi 1010
myg 920
pifo 907
Stouenberg 838
molokyle 830
Bille1948 815
rotw 760
10  EXTERMINA.. 750
Rsync er langsom :-(
Fra : Jonas Bo Jalling


Dato : 02-07-11 18:10

Hej alle,

jeg skal have synkroniseret 3.7TB data fra en NAS til min macpro. Nogle
af filerne (ca. 1 TB) ligger i forvejen på mac'en.

Når jeg kopierer fra NAS -> mac vha. finder kan jeg overføre med omkring
80megabytes/sekund. Denne løsning er dog ikke optimal da jeg ikke kan få
finder til ikke at overskrive undermapper som allerede er kopieret.

Derfor kommer rsync ind i billedet. Den kan hurtigt få styr på hvad der
skal kopieres og hvad der allerede er kopieret.

Jeg skriver følgende for at synkronisere:
rsync -av --progress /Volumes/Datadir /Volumes/Bigdisk0

Her får jeg kun knap 40megabytes/sekund igennem

Har i nogen ide om hvor jeg kan tune?
Evt. et program jeg kan benytte til at synkronisere de to mapper med
højere hastighed (gerne på niveau med Finder).

På forhånd tak!

Mvh Jonas Jalling

 
 
Esben (05-07-2011)
Kommentar
Fra : Esben


Dato : 05-07-11 08:44

Jonas Bo Jalling <jonas@jalling.dk> wrote:

> Hej alle,
>
> jeg skal have synkroniseret 3.7TB data fra en NAS til min macpro. Nogle
> af filerne (ca. 1 TB) ligger i forvejen på mac'en.
>
> Når jeg kopierer fra NAS -> mac vha. finder kan jeg overføre med omkring
> 80megabytes/sekund. Denne løsning er dog ikke optimal da jeg ikke kan få
> finder til ikke at overskrive undermapper som allerede er kopieret.
>
> Derfor kommer rsync ind i billedet. Den kan hurtigt få styr på hvad der
> skal kopieres og hvad der allerede er kopieret.
>
> Jeg skriver følgende for at synkronisere:
> rsync -av --progress /Volumes/Datadir /Volumes/Bigdisk0
>
> Her får jeg kun knap 40megabytes/sekund igennem
>
> Har i nogen ide om hvor jeg kan tune?
> Evt. et program jeg kan benytte til at synkronisere de to mapper med
> højere hastighed (gerne på niveau med Finder).
>
> På forhånd tak!
>
> Mvh Jonas Jalling

SuperDuper er svaret (ikke freeware)

vh esben

dbareudeladmig@get2net.dk
udelad udelad

Ukendt (05-07-2011)
Kommentar
Fra : Ukendt


Dato : 05-07-11 08:52

Hej,

> Derfor kommer rsync ind i billedet. Den kan hurtigt få styr på hvad der
> skal kopieres og hvad der allerede er kopieret.
> rsync -av --progress /Volumes/Datadir /Volumes/Bigdisk0
> Her får jeg kun knap 40megabytes/sekund igennem
> Har i nogen ide om hvor jeg kan tune?

Umiddelbart er den nemmeste måde at tune simpelthen at lade være med at
bruge rsync.

Rsync fungerer jo på den måde, at den sammenligner kilde og destination
og kopierer forskellene. Det er rigtigt smart hvis du har computer A og
B med en langsom internetforbindelse i mellem dem. Men på den måde du
bruger rsync ved rsync ikke at der overhovedet er tale om en
netværksforbindelse.

Derfor sker der det, at når rsync skal sammenligne filerne, kopierer den
hele filen ind fra NAS'en og beregner checksum - og hele filen ind fra
harddisken og beregner checksum - og så overfører den forskellene
bagefter. Det tager selvfølgelig længere tid end bare at kopiere filen
ind fra NAS'en.

Hvis du er (meget) heldig, kan din NAS køre rsync lokalt. Så vil du
kunne få udnyttet de smarte ting ved rsync i dette tilfælde (dog med
forbehold for om CPUen i NAS'en er hurtig nok).

--
Jens Kristian Søgaard, Mermaid Consulting ApS,
jens@mermaidconsulting.dk,
http://www.mermaidconsulting.com/

Jonas Bo Jalling (05-07-2011)
Kommentar
Fra : Jonas Bo Jalling


Dato : 05-07-11 16:36

On 05/07/11 09.52, Jens Kristian Søgaard wrote:
> Hej,
>
>> Derfor kommer rsync ind i billedet. Den kan hurtigt få styr på hvad der
>> skal kopieres og hvad der allerede er kopieret.
>> rsync -av --progress /Volumes/Datadir /Volumes/Bigdisk0
>> Her får jeg kun knap 40megabytes/sekund igennem
>> Har i nogen ide om hvor jeg kan tune?
>
> Umiddelbart er den nemmeste måde at tune simpelthen at lade være med at
> bruge rsync.
>
> Rsync fungerer jo på den måde, at den sammenligner kilde og destination
> og kopierer forskellene. Det er rigtigt smart hvis du har computer A og
> B med en langsom internetforbindelse i mellem dem. Men på den måde du
> bruger rsync ved rsync ikke at der overhovedet er tale om en
> netværksforbindelse.
>
> Derfor sker der det, at når rsync skal sammenligne filerne, kopierer den
> hele filen ind fra NAS'en og beregner checksum - og hele filen ind fra
> harddisken og beregner checksum - og så overfører den forskellene
> bagefter. Det tager selvfølgelig længere tid end bare at kopiere filen
> ind fra NAS'en.
>
> Hvis du er (meget) heldig, kan din NAS køre rsync lokalt. Så vil du
> kunne få udnyttet de smarte ting ved rsync i dette tilfælde (dog med
> forbehold for om CPUen i NAS'en er hurtig nok).
>

Hej,

undskyld jeg ikke har svaret før nu. Jeg satte rsync igang da jeg skrev
indlægget, da den ligeså godt kunne lave "et eller andet", uanset om det
var langsomt.

Jeg er dog interesseret i at finde ud af hvordan jeg kan optimere til
senere brug.
Det er en Synology DS410 jeg har, og så vidt jeg ved er det muligt at
få den til at fungere som rsync server - er det sådan noget jeg skal
kigge på?

Du (Jens) nævner noget med stat-kommandoen - skal jeg blot benytte den
på en tilfældig fil ?

Mvh Jonas

Ukendt (05-07-2011)
Kommentar
Fra : Ukendt


Dato : 05-07-11 16:41

Hej,

> Det er en Synology DS410 jeg har, og så vidt jeg ved er det muligt at
> få den til at fungere som rsync server - er det sådan noget jeg skal
> kigge på?

Til fremtidig brug kan det være en god idé, ja. Jeg har ikke selv en
DS410'er, men så vidt jeg kan se er det relativt nemt at slå til i dens
opsætning.

> Du (Jens) nævner noget med stat-kommandoen - skal jeg blot benytte den
> på en tilfældig fil ?

Prøv følgende:

stat -f "%m%t%Sm %N" /Volumes/Datadir/minfil /Volumes/Bigdisk0/minfil

Hvor "minfil" skal være en fil som er på både NAS og på din lokale disk,
og hvor den er kopieret over på den lokale disk med det
kopieringsprogram du oprindeligt brugte - og altså ikke med rsync.

Kommandoen viser dato og tidspunkt for sidste ændring af filerne.

--
Jens Kristian Søgaard, Mermaid Consulting ApS,
jens@mermaidconsulting.dk,
http://www.mermaidconsulting.com/


(Thorbjørn Ravn (05-07-2011)
Kommentar
Fra : (Thorbjørn Ravn


Dato : 05-07-11 09:54

Jens Kristian Søgaard <jens@mermaidconsulting.dk> writes:

> Derfor sker der det, at når rsync skal sammenligne filerne, kopierer
> den hele filen ind fra NAS'en og beregner checksum - og hele filen ind
> fra harddisken og beregner checksum - og så overfører den forskellene

Sådan gør rsync ikke ved lokale filoverførsler. Hvis filen er dømt
forskellig ud fra størrelse og datostempler (og nok lidt mere), kopieres
den nye direkte oveni den gamle uden at kigge i den gamle først.

--
Thorbjørn Ravn Andersen "... plus... Tubular Bells!"

(Thorbjørn Ravn (05-07-2011)
Kommentar
Fra : (Thorbjørn Ravn


Dato : 05-07-11 12:39

Jens Kristian Søgaard <jens@mermaidconsulting.dk> writes:

> Hej Thorbjørn,
>
>> Sådan gør rsync ikke ved lokale filoverførsler. Hvis filen er dømt
>> forskellig ud fra størrelse og datostempler (og nok lidt mere), kopieres
>> den nye direkte oveni den gamle uden at kigge i den gamle først.
>
> Ja, det er jeg med på - men det gør ikke nogen forskel her. Hele
> pointen er jo, at det ser ud som lokale filoverførsler - men det er i
> virkeligheden netværksoverførsel. Da rsync skal lave noget ekstra for
> hver fil der allerede er overført til destinationen vil det være
> langsommere end bare at kopiere det direkte uden rsync.

Jamen det skal den ikke hvis ikke rsync snakker med en anden rsync, så
er det en lokal filoverførsel.

Men det kan selvfølgelig være at der her ved et uheld er brugt en
ssh-forbindelse, og så giver det mening men det passer ikke med den
angivne kommando.

Sært.


--
Thorbjørn Ravn Andersen "... plus... Tubular Bells!"

(Thorbjørn Ravn (05-07-2011)
Kommentar
Fra : (Thorbjørn Ravn


Dato : 05-07-11 12:50

Jens Kristian Søgaard <jens@mermaidconsulting.dk> writes:

> Hej,
>
>> Jamen det skal den ikke hvis ikke rsync snakker med en anden rsync, så
>> er det en lokal filoverførsel.
>
> Det jeg tror du har misset er, at den ene sti i kommandoen er en
> mounted netværksdisk. Derfor overføres der over netværket selvom der
> netop ikke er en anden rsync i den anden ende. Havde der været det,
> ville der ikke have været problemer.

Jeg er med på at filer skal over netværk hvis de skal hentes. Hvad du
måske ikke har luret er at rsync kan træffe beslutningen om der skal
kigges i filen alene ud fra metadata som ikke kræver at filen skal
hentes.

Det er derfor det er sært.
--
Thorbjørn Ravn Andersen "... plus... Tubular Bells!"

(Thorbjørn Ravn (05-07-2011)
Kommentar
Fra : (Thorbjørn Ravn


Dato : 05-07-11 14:49

Jens Kristian Søgaard <jens@mermaidconsulting.dk> writes:

> Hej,
>
>> Jeg er med på at filer skal over netværk hvis de skal hentes. Hvad du
>> måske ikke har luret er at rsync kan træffe beslutningen om der skal
>> kigges i filen alene ud fra metadata som ikke kræver at filen skal
>> hentes.
>
> Det var jo lige det, jeg skrev før, at jeg godt ved. Men hvem siger at
> hans NAS, valgte overførselsprotokol og kopieringsprogram har sikret
> at alle timestamps er korrekt overført? Der er jo en grund til at
> rsync går i gang med at lave checksums og dermed får den halve
> overførselshastighed.

Du skrev at rsync laver hele balladen med at overføre forskelle mv og
det gør den helt sikkert ikke ved lokale overførsler. Jeg kan ikke
huske om der er et flag til at bestemme om metadata er nok til at sikre
de er forskellige eller ej, men det er min erfaring at rsync ikke laver
mere end allerhøjst nødvendigt.


> Medmindre OP kan efterprøve at det ikke skulle være tilfældet (OP:
> brug stat kommandoen), så lyder det stadig som det mest sandsynlige.

Jeg tror du tager fejl.

--
Thorbjørn Ravn Andersen "... plus... Tubular Bells!"

(Thorbjørn Ravn (05-07-2011)
Kommentar
Fra : (Thorbjørn Ravn


Dato : 05-07-11 17:46

Jens Kristian Søgaard <jens@mermaidconsulting.dk> writes:

> Det gør den ikke ved lokale overførsler _hvis_ størrelse og
> modification time passer. Hvis du mounter en NAS via fx SMB og så
> bruger et helt tredje program til først at kopiere nogen filer... er
> du så helt 100% sikker på at modification time står nøjagtigt rigtigt?
>
> Det tyder på at det ikke er tilfældet, når OP får nøjagtigt halv
> performance af, hvad han forventede.

Gør han det, er originalen forkastet uden at blive læst.

--
Thorbjørn Ravn Andersen "... plus... Tubular Bells!"

(Thorbjørn Ravn (05-07-2011)
Kommentar
Fra : (Thorbjørn Ravn


Dato : 05-07-11 18:36

Jens Kristian Søgaard <jens@mermaidconsulting.dk> writes:

> Hej,
>
>>> Det tyder på at det ikke er tilfældet, når OP får nøjagtigt halv
>>> performance af, hvad han forventede.
>
>> Gør han det, er originalen forkastet uden at blive læst.
>
> Hmm, ja god point! MÃ¥ske er der en anden grund til at rsync
> checksummer. Hvis ikke rsync checksummer, så er halv performance jo
> meget underligt set i betragtning af, at rsync vel bruger de samme
> systemkald som andre kopieringsprogrammer.

Enig, men der er sikkert en god grund. Det kræver nok at have
motorhjelmen op på computer og måske nok også netværk for at finde ud af
det her.
--
Thorbjørn Ravn Andersen "... plus... Tubular Bells!"

Søg
Reklame
Statistik
Spørgsmål : 177549
Tips : 31968
Nyheder : 719565
Indlæg : 6408820
Brugere : 218887

Månedens bedste
Årets bedste
Sidste års bedste