---

Hej,

Jeg arbejder med en masse kæmpefiler, der snildt lader sig komprimere, fx
med gzip. Jeg har tusindvis (hvis ikke millionvis) af .gz-filer og rutiner
til håndtering af sådanne.

Jeg har nu fået den tanke, at det måske var mere rationelt at arbejde
med et komprimerende filsystem, således at mange af de eksplicitte
(de-)komprimerings-steps kunne håndteres transparent.

- Men filsystemet skal være stabilt. Det må fx. ikke få kernen til at
crash'e under stort load.

Er der nogen, der har erfaringer med komprimerede filsystemer på Linux? -
I så fald: Hvad gør man? Er der ét filsystem, der er værd at
foretrække frem for andre?

--
Greetings from Troels Arvin, Copenhagen, Denmark

---

> Jeg har nu fået den tanke, at det måske var mere rationelt at arbejde
> med et komprimerende filsystem, således at mange af de eksplicitte
> (de-)komprimerings-steps kunne håndteres transparent.
>
> - Men filsystemet skal være stabilt. Det må fx. ikke få kernen til at
> crash'e under stort load.
>
> Er der nogen, der har erfaringer med komprimerede filsystemer på Linux? -
> I så fald: Hvad gør man? Er der ét filsystem, der er værd at
> foretrække frem for andre?

Jeg har prøvet e2compr (transparent compression til ext2) i second and third
age udgaverne. Det virkede fint for mig (hjemmebygget router med så meget
software som muligt i 1999-2000) på en 8mb maskine.

http://e2compr.sourceforge.net/

Thomas

---

On Fri, 29 Apr 2005 20:08:59 +0000, Thomas S. Iversen wrote:

> Jeg har prøvet e2compr (transparent compression til ext2) i second and third
> age udgaverne. Det virkede fint for mig

OK, tak. Desværre ser det ikke ud til, at e2compr benytter en journal,
så man må forvente, at filsystemet skal tjekke den komplette partition,
hvis maskinen skulle blive lukket på brutal vis. Et komplet
filsystem-tjek er noget, jeg _meget_ nødig vil ud i med de datamængder,
jeg har med at gøre.

--
Greetings from Troels Arvin, Copenhagen, Denmark

---

Troels Arvin wrote:
>
> Er der nogen, der har erfaringer med komprimerede filsystemer på Linux? -

Jeg har faktisk været i gang med at skrive mit eget. Det er
godt nok specielt rettet mod at anvende til en stor bunke
tar filer med mine daglige backups. Til det formål er det
glimrende, men det er til gengæld ikke velegnet til alle
formål.

Hvad er det for en slags redundans du har i dine filer, så
skal jeg sige dig, om min komprimering vil kunne udrette
noget.

--
Kasper Dupont

---

On Sat, 30 Apr 2005 00:49:36 +0200, Kasper Dupont wrote:
> Jeg har faktisk været i gang med at skrive mit eget. Det er
> godt nok specielt rettet mod at anvende til en stor bunke
> tar filer med mine daglige backups.

OK. Jeg håber, du vil poste din kode, hvis du engang får gennemført dit
projekt.

> Hvad er det for en slags redundans du har i dine filer, så
> skal jeg sige dig, om min komprimering vil kunne udrette
> noget.

Det er DNA/RNA/aminosyre-sekvensdata, dvs. med en del repetitioner og med
et OK potentiale for komprimering.

--
Greetings from Troels Arvin, Copenhagen, Denmark

---

Troels Arvin wrote:
>
> OK. Jeg håber, du vil poste din kode, hvis du engang får gennemført dit
> projekt.

De modige kan allerede nu downloade koden fra
https://www.daimi.au.dk/~kasperd/tstore/

Jeg bruger det selv til mine backups. Men
eftersom jeg kender det ret godt, så ved jeg
jo også, hvad jeg skal gøre i tilfælde af
problemer. Ikke at jeg har haft nogen problemer
siden jeg skiftede til den nyeste version
(bortset fra dårlig RAM, men det er jo ikke
programmets skyld).

>
> Det er DNA/RNA/aminosyre-sekvensdata, dvs. med en del repetitioner og med
> et OK potentiale for komprimering.

Muligvis, jeg ved ikke så meget om hvordan DNA
ser ud. Men da repetitionerne sikkert ikke er
pænt aligned i disksektorer er det nok ikke min
komprimering du har brug for.

DNA kan oplagt komprimeres meget ved at kun
bruge to bits per aminosyre og ikke en hel byte.
Men det går jeg ud fra, at du allerede har taget
højde for.

--
Kasper Dupont

---

> DNA kan oplagt komprimeres meget ved at kun
> bruge to bits per aminosyre og ikke en hel byte.
> Men det går jeg ud fra, at du allerede har taget
> højde for.

Oplagt projekt til en linux hacker:

aminofs ;-p

Thomas

---

Thomas S. Iversen wrote:
>>DNA kan oplagt komprimeres meget ved at kun
>>bruge to bits per aminosyre og ikke en hel byte.
>>Men det går jeg ud fra, at du allerede har taget
>>højde for.
>
>
> Oplagt projekt til en linux hacker:
>
> aminofs ;-p
>

- bortset fra, at DNA ikke består af aminosyrer

Mogens
--
Mogens Kjær, Dataarkæolog
Email: mk@datamuseum.dk
Homepage: http://www.datamuseum.dk

---

Mogens Kjaer wrote:
>
> - bortset fra, at DNA ikke består af aminosyrer

Det var vist mig, der kom til at sige aminosyrer i
stedet for (noget jeg kan huske præcist hvad hedder).
Ved nærmere eftertanke er det vist nok fem forskellige
baser, men jeg er ikke lige ekspert i det der.

--
Kasper Dupont

---

On Sat, 30 Apr 2005 15:31:19 +0200, Kasper Dupont wrote:
> De modige kan allerede nu downloade koden fra
> https://www.daimi.au.dk/~kasperd/tstore/

Jeg bliver muligvis modig på et tidspunkt, og vil da give respons.

> DNA kan oplagt komprimeres meget ved at kun
> bruge to bits per aminosyre og ikke en hel byte.
> Men det går jeg ud fra, at du allerede har taget
> højde for.

Lige bortset fra, at virkeligheden (data fra laboratorier) ikke
nødvendigvis altid giver helt klare svar, så man opererer i praksis med
et noget større alfabet end A, C, G, T. Dermed bliver en pakning ikke
helt så interessant længere.

--
Greetings from Troels Arvin, Copenhagen, Denmark