Online Kompression verbessern

Ash · 23. August 2003, 18:57

Hallo

Ich würde gerne mal wissen, warum Emule intern eine Zlib Kompression verwendet und keine 7z(open source) die doch eindeutig allen anderen Zipformaten überlegen ist?

The GIMP 1.2.4 for Windows after full installation (127 subfolders, 1304 files totaling 27,128,826 bytes)

was macht Zlib als Online-Kompression besser? In den meisten Fällen würde, ein Dateisegment mit 7z gepackt doch bestimmt kleiner ausfallen?

Die Features von 7z lesen sich jedenfalls so:

-Open architecture
-High compression ratio
-Strong AES-256 encryption
-Ability of using any compression, conversion or encryption method
-Supporting files with sizes up to 16000000000 GB
-Unicode file names
-Solid compressing
-Archive headers compressing
-High compression ratio
-Variable dictionary size (up to 4 GB)
-Compressing speed: about 1 MB/s on 2 GHz CPU
-Decompressing speed: about 10-20 MB/s on 2 GHz CPU
-Small memory requirements for decompressing (depend from dictionary size)
-Small code size for decompressing: about 5 KB
-Supporting multi-threading and P4's hyper-threading

Das deklassiert Zlib doch in jeder Hinsicht? Das kann man zwar sicherlich nicht einfach rausnehmen, da ja auch die Abwärts-Kompatibilität gesichert sein muss, aber theoretisch könnten doch die Mods anfangen sich untereinander zu erkennen und sich gegenseitig mit einer höheren Kompression zu bedienen?

Was haltet ihr davon? Wo liegen die technischen Schwierigkeiten? Und wie könnte man diese lösen?

Wenn man die Packdichte nur um 10% verbessern könnte, wäre es doch dasselbe als wenn man 10% an Geschwindigkeit gewonnen hätte bei herkömmlicher Kompression!

**Xman** · 23. August 2003, 19:21

Ash,
sag mal willst Du es nicht kapieren ? Du bist auf dem offiziellen Board von den Admins gelöscht worden, weil dies Thema nichts mit emule zu tun hat und Du beharrlich nichts die Funktionsweise von emule verstehen willst.

Wie bereits dort erwähnt ist das von Dir vorgeschlagene Komprimierungsverfahren nur bei größeren Dateien sinnvoll. Da emule aber lediglich 180kb-Blöcke komprimiert ist das angewandte Verfahren bereits gut genug.

Wenn Du Dateien netzwerkschonend, hochkomprimiert unters Volk bringen willst, dann stell Deine Dateien mit 7z komprimiert ins Netz! Dein Vorschlag hat nämlich rein gar nichts mit emule zu tun.

Ich hoffe Du siehst Deinen Fehler endlich ein und wanderst nicht von Board zu Board um Deine Ansichtsweisen unters Volk zu bringen.

Ash · 23. August 2003, 19:48

Zitat:

Zitat von Xman

Ash,
sag mal willst Du es nicht kapieren ? Du bist auf dem offiziellen Board von den Admins gelöscht worden, weil dies Thema nichts mit emule zu tun hat und Du beharrlich nichts die Funktionsweise von emule verstehen willst.

Wie bereits dort erwähnt ist das von Dir vorgeschlagene Komprimierungsverfahren nur bei größeren Dateien sinnvoll. Da emule aber lediglich 180kb-Blöcke komprimiert ist das angewandte Verfahren bereits gut genug.

Wenn Du Dateien netzwerkschonend, hochkomprimiert unters Volk bringen willst, dann stell Deine Dateien mit 7z komprimiert ins Netz! Dein Vorschlag hat nämlich rein gar nichts mit emule zu tun.

Ich hoffe Du siehst Deinen Fehler endlich ein und wanderst nicht von Board zu Board um Deine Ansichtsweisen unters Volk zu bringen.

Selbst 180kbyte Dateien werden doch von 7z in der Regel deutlich besser gepackt.

Ich will nichts unters Volk bringen sondern nur was lernen.

1. Zum Beispiel der Config Ordner aus Emule 30a, 15 Dateien sind da bei mir drin, .mets .dats und eine ini Datei, insgesammt 115Kbye! Als 7z dann aber nur 28,3kbyte und mit Zip 49,8kbyte gross!

Man kann also auch in dieser extremen winzigen Blockgrösse noch erstaunlich Ergebnisse erzielen, von über 40% Gewinn! Wo ist denn das Problem?

2. Wie kommt diese 180kbyte Schranke überhaupt zustande, von was wird sie bestimmt, warum kann man diese nicht auf z.B das zehnfache erhöhen, auf 1.75Mbyte?

und wie gesagt 7z ist doch auch bei 180kbyte Blockgrössen, eindeutig überlegen, oder nicht?

3. und warum werde ich für meine Fragen immer gleich angefeindet?

ps. Das die Leute ihre CD-Images gleich 7z komprimieren ist doch unrealistisch, die meisten nehmen diese doch garnicht an, Top Releases wie sie auf den Eselseiten gesammelt werden, kommen doch nur brenn fertig als bin oder iso mit der cue dazu. völlig ungepackt.

**Xman** · 23. August 2003, 20:53

zu 1. Es geht halt nicht um config files oder sonstiges. Welche Größe die haben ist schlicht weg egal
zu 2. Bevor emule das erste Packet losschickt muß es erst mal komprimieren. Bei 1,75 MB würde es einfach zu lang dauern.
zu 3. Weil man es Dir wirklich ziemlich ausführlich erklärt hat, Du aber zu beharrlich bist.

Ich würde an Deiner Stelle diese Diskussion in Releaser-Foren führen. Beweg doch diese dazu 7z zu benutzen.

Blomy · 23. August 2003, 21:29

Hey, da habe ich etwas verpasst. Aber so wie ich das verstehe, geht es doch
darum, ein besseres Kompressionsformat zu nutzen. Und das würde ich begrüssen.
Das Bessere war schon immer der Feind des Guten.
Entschuldige Xman, aber ich finde, die überreagierst etwas.
Das sollte doch ein Vorschlag sein und so etwas ist doch bei Verbesserungsvorschlägen
eindeutig hier am besten angebracht. Wenn die Fakten für eine bessere
Sache sprechen, so sollte sie auch dementsprechend ausdiskutiert werden.

Und in meinen Augen und Verständniss gehört dieses Thema sehr wohl zu Emule.

Warum werden denn die Mod´s usw gepackt und warum gibt es so viele
Fragen bezüglich : bekomme beim Entpacken nur TXT Files oder gar nichts.
WARUM : weil auf ein neues Kompressionsformat gewechselt wurde ohne
das die meisten davon wussten.

Ich persönlich würde es begrüssen, statt 50 Min. nur noch 45 Min. an einem
Chunk zu nuckeln.

Oder soll ich dir von mir gebrachte Beispiele bringen, wo ich Fragen an die
Modder gestellt habe und keine Antworten bekommen habe. Denn die
wichtigen Dinge wurden erst ab den 0.30 Versionen herausgebracht.
Ein Beispiel ist die sichere Erkennung der Clients. Wieviele
Unknown Clients gibt es in den 0.29 Versionen und wieviele in den 0.30.
Nämlich ab 0.30 keine

Du hast mir auch in einem Thread so eine Frage beantwortet.

Ash · 23. August 2003, 21:38

Zitat:

Zitat von Xman

zu 1. Es geht halt nicht um config files oder sonstiges. Welche Größe die haben ist schlicht weg egal
zu 2. Bevor emule das erste Packet losschickt muß es erst mal komprimieren. Bei 1,75 MB würde es einfach zu lang dauern.
zu 3. Weil man es Dir wirklich ziemlich ausführlich erklärt hat, Du aber zu beharrlich bist.

Ich würde an Deiner Stelle diese Diskussion in Releaser-Foren führen. Beweg doch diese dazu 7z zu benutzen.

Nein Danke, jeder verschiebt mich nur in ein anderes Forum, mit dem Hinweis, das es nur
1. egal ist
2. erklärt ist
3. ich nichts verstanden hab

ein 2Mbyte Datei mit 7z packen dauert auf meinem 1,8ghz AMD, 3sec. Im Prinzip könnte der Rechner immer schneller vorpacken als er maximal mit DSL senden könnte?

Zu 90% lassen sich auch alle Dateien in jeder Grösse mit 7z besser packen, nicht nur conf. Dateien etc. das war doch nur Beispiel, naja egal...

**Xman** · 23. August 2003, 21:39

blomy,
ich reagierte so, da dieses Thema auf dem offiziellen Board bis zum Exidus durchdiskutiert wurde.

Du darfst 3 Faktoren nicht vergessen:
1. Lohnt sich der Aufwand von mehr Rechenleistung zu Kompression in der Praxis wirklich ? (wir haben alle zu wenig Ahnung von den emule-internas um das zu beurteilen)
2. Es muß abwärtskompatibel sein!
3. Das Zip-Format ist sozusagen "freeware". Es kann ohne Linzengebühren verwendet werden. Andere Formate kosten richtig viel Kohle.

Blomy · 23. August 2003, 21:47

Xman
1. auf dem offiziellen Board habe ich mich unter 3 verschiedenen E-Mail Adressen
angemeldet und nie eine Freischaltung bekommen. Also irrelevant. Wir sind hier !
2. Das bischen Rechenleistung ist bei jeder Gurke vorhanden.
3. mit der Ahnung hast du Recht, trotzdem ein sehr interessantes Thema.
4. zu 2 schon wieder hast Recht
5. zu 3 du nervst, hast schon wieder Recht

Trotzdem bin ich der Meinung und ! Überzeugung, das Ash ein wichtiges
Thema angesprochen hat.

Und es geht im allgemeinen wieder unter, wenn es um grundsätzliche
Probleme geht. Das nervt.

Wer sonst als wir, kann die Modder dazu bringen, etwas zu verbessern.

Ash · 23. August 2003, 21:51

Zitat:

Zitat von Xman

blomy,
ich reagierte so, da dieses Thema auf dem offiziellen Board bis zum Exidus durchdiskutiert wurde.

Du darfst 3 Faktoren nicht vergessen:
1. Lohnt sich der Aufwand von mehr Rechenleistung zu Kompression in der Praxis wirklich ? (wir haben alle zu wenig Ahnung von den emule-internas um das zu beurteilen)
2. Es muß abwärtskompatibel sein!
3. Das Zip-Format ist sozusagen "freeware". Es kann ohne Linzengebühren verwendet werden. Andere Formate kosten richtig viel Kohle.

1. Ja, die Kompression parallel zu Rechenleistung ist ein Witz, maximal 4,2% auf einem 2500+ AMD mit 16kbyte/s Upload DSL Speed. (Es muss ja nicht schneller gepackt werden als er sendet)

2. Abwärtkompatibel ist Zlib, den Code könnte man doch für alte Clients noch solange drin lassen bis sie fast verschwunden sind, nur alle neueren Clients tauschen sich mit 7z aus.

3. 7z(open source) auch

Blomy · 23. August 2003, 21:53

Ash, so wie du das schreibst, ist es genau eine Funktion die vorwärts orientiert ist.
Sprich also auch abwärtskompatibel.

**Xman** · 23. August 2003, 21:54

Zitat:

3. 7z auch

ok, das wußt ich nicht, hier spricht der Puntk für Dich.

Ash · 23. August 2003, 22:04

Zitat:

Zitat von blomy

Ash, so wie du das schreibst, ist es genau eine Funktion die vorwärts orientiert ist.
Sprich also auch abwärtskompatibel.

So abwärtskompatibel wie Windows95 mit Dos, die alten Routinen bleiben einfach noch eine Weile drin.
Erst später nimmt man sie raus.

Emule ist doch faktisch abwärtskompatibel durch Zlib! 7z käme nur dazu, für alle Clients die es auch unterstützen. Das dauert natürlich ne Weile bis die in der Mehrheit sind und die Dinosaurier tot!