Datenkompression-Formate

  • Welches Format verwendet Ihr denn, um Daten zu komprimieren? Ich denke, ZIP ist am gebräuchlisten, scheinbar gefolgt von RAR. Heute bin ich zum ersten mal mit "7z" in Berührung gekommen...

    Kennt Ihr Infos, welche die Vor- und Nachteile diverser Datenkompressions-Formate beleuchten?

    Danke!

  • 7z kann ich Dir nur empfehlen.
    Da lässt sich beispielsweise LZMA unterbringen, von dem bin ich recht begeistert.
    Hat man viele kleine Dateien und will diese platzsparend archivieren ohne Rücksicht auf Kompression-, Dekompressionsgeschwindigkeiten zu nehmen würde ich es verwenden.

    Leider kennen viele "DAUs" das 7z nich und man muss ZIP o.ä. verwenden.
    Das komprimiert fast nie so gut, man kann sich aber mit einer höheren Geschwindigkeit trösten.

    Wer keine Angst vor vielen Zahlen hat kann sich das hier ansehen:
    http://www.malayter.com/compressiontest.html (lzma war Sieger)

  • Ich hab mir mal zu Studien-Zeiten eine gewaltige Übersicht über Komprimierungs-Verfahren zusammengestellt: Über Run-Length Encoding, Entropie-Codierung (Shannon/Fano/Huffman, Arithmetic Coding), Dictionary-Codierung (Lempel-Ziv-Storer-Szymansik=LZ77, Lempel-Ziv-Welch=LZ78, und verwandte), Automatentheorie-basierte (Prediction by Partial Matching), auch die Berührung zu LZ als Sonderfall, Blocksortierung (BZIP), und was weiß ich...

    Man muss nicht wirklich alle Details über alle Verfahren kennen. Wichtig zu wissen wäre alerdings für den, der sich interessiert, welche Verfahrensgruppe wie funktioniert, und für welche Art von Daten sie deshalb günstig ist. Nicht umsonst werden häufig auch mehrere Verfahren nacheinander durchgeführt (z.B. LZH: Lempel-Ziv + Huffman). Und es wird auch immer spezialisierte Verfahren geben, die nur für eine Art von Daten sinnvoll ist, dafür aber optimal arbeitet (z.B. verlustfreie Komprimierung von PCM-Ton oder RGB-Bildern).
    __

    Was du so als "Format" bezeichnest, sind spezielle Implementierungen von Kompressionsverfahren durch Komprimierprogramme. Und die verwenden ihre eigenen Dateiformate. Die Vor- und Nachteile von Dateiformaten werden dich sicher weniger interessieren - du wirst wohl eher an der Kompressionsstärke interessiert sein?

    Hier ist zu sagen, dass PKZIP sicher weit verbreitet ist, aber durch die Limitierungen (kleines Dictionary-Fenster, ich glaube max. 32 KB) relativ schwach ist. Moderne Packprogramme verwenden große "Wörterbücher" (WinAce und WinRAR bis zu 4 MB, 7zip oder MS Cabinet sogar noch größer). Außerdem bieten manche neben dem herkömmlichen Wörterbuch-Ansatz (LZSS und Abwandlungen) auch komplexere Verfahren an , die jedoch nicht bei jeder Art von Daten Vorteile bringen (WinRAR und 7zip beispielsweise PPMz, das bei Texten und Programmen Vorteile bringt). Nicht zu vergessen die "Solid-Komprimierung", die den Inhalt mehrerer Dateien als Datenstrom ansieht (noch nicht mal das wird von PKZIP geboten; wozu auch bei so kleinem Wörterbuch).

  • Hi,

    in der c't 15 2005 die morgen in den Läden kommt gibt es ab Seite 162 das Thema "Datenkompression: Packprogramme im Vergleich".

    Von der reinen Packleistung her (bei Multimediainhalten) sehr interessant ist UHARC und mit der Verbindung einer hübschen GUI auch angenehm anzuwenden:
    http://www.klaimsoft.com/winuha/


    ...cya

  • Zitat von LigH

    z.B. verlustfreie Komprimierung von PCM-Ton oder RGB-Bildern

    Wobei ich einmal erlebt hatte, dass LZMA um einiges besser komprimierte als Huffyuv :huh:
    Bei MonkeyAudio wird es dann sehr deutlich.

    Zitat von LigH

    WinAce und WinRAR bis zu 4 MB, 7zip oder MS Cabinet sogar noch größer)

    Bis zu 192MB bei LZMA, wobei sich das auf einem Durchschnittsrechner nicht mehr bewerkstelligen lässt.

    Dann gibt es auch noch so Mischtypen, die unbekannte Daten lossless und audiovisuelles Material verlustbehaftend komprimieren.

  • HuffYUV ist ja auch ein sehr simpler und schneller Komprimierer (Huffman-Komprimierung schafft die Firmware jeder digitalen Videokamera, denn sie ist auch ein Teil von JPEG oder MPEG). Vergleiche mal mit CorePNG (nur RGB) oder FFV1 (nur YUV), die sind erheblich besser. Außerdem sprach ich auch zunächst von Bildern, weniger von Videos; im neuesten IrfanView ist ein PNG-Export-Plugin dabei, das PNGs im Mehrpass-Verfahren durchoptimiert! (PNG erlaubt ja mehrere Arten von Vorhersage- und Differenz-Filtern.)

  • arc !!!?! Ich errinnere mich an dos zeiten, da habe ich so ziemlich alles mit gepackt. War schneller und kompremierte besser als das (damals noch teure) PKzip(ist das immer noch shareware?).

    AC-Sama(Robert Vincenz)
    (werde für das -Chan zu alt :zunge: )

  • Zitat von ashyak

    Hi,

    ich glaub ac-chan meint eher ARJ, oder?


    Stimmt!

    LigH:
    Ich werde jetzt meine Antworten komprimiert halten, um Rechtschreibfehler zu reduzieren.(mangel an Fehler, wegen mangel an Text. :cool: )

    AC-Sama(Robert Vincenz)
    (werde für das -Chan zu alt :zunge: )

  • ARJ, genau, das hab ich ja auch verwendet... Ist das heute noch relevant?

    Wie kann ich die verschiedenen Formate eigentlich testen? Eine beliebige Datei in verschiedene Formate komprimieren und vergleichen? Inwieweit wirken die dafür verwendeten Programme mit ein? Für ZIP verwende ich das Freeware-Programm "Filzip". Für 7z den 7z-Manager von 7-zip.org.

  • Oder der absolut alltagsuntaugliche Overkill: PAQAR

    http://www.cs.fit.edu/~mmahoney/compression/

    Ich hab mal mit einer etwas älteren Version rumgespielt, aber 25 min auf meinem P4 2,4GHz für eine 5 (oder so) MB große Datei abgebrochen... ;D

    Ich verwende normalerweise TugZip, das kann alles was ich brauch, inklusive 7z:

    http://www.tugzip.com/

    Es gibt eine Theorie, die besagt, dass das Universum sofort verschwinden und etwas noch Unerklärlicheres und Bizarres an seine Stelle treten wird, sobald jemand herausfindet, wofür es gut ist und warum es existiert.

    Es gibt eine andere Theorie, die besagt, dass das bereits geschehen ist.

  • PAQAR ist echt total langsam , aber bietet eine gute Kompression.

    406KB BMP =>Kompressionsstufe 6 => 40KB Archiv

    Höher als Stufe 6 kann ich nicht gehen wegen Arbeitsspeicher.

    Die Rotation der Erde wurde in den letzten Jahren primär durch sich im Grab umdrehende Musiker angetrieben - Mainstream sei dank.

  • Es gab jede Menge interessante und höchst effiziente Packer, z.B.

    - Quantum (extrem langsam; wurde evtl. mal von Borland benutzt?)
    - RKIVE (heute noch als "RK Archiver" verfügbar)
    - Ultra Compressor 2
    - ACB

    ARJ hat sich übrigens zu JAR (*.j) "weiterentwickelt"; aber auch dieses Format teilt heute das Schicksal vieler anderer: Eventuell wird es noch mit-unterstützt, aber durchgesetzt haben sich die, die alles anbieten: benutzerfreundliche Oberfläche und höchste Kompression in erträglicher Zeit.

    Übrigens: AIN war schneller als PKZIP, und trotzdem stärker!

  • Zitat von ashyak

    in der c't 15 2005 die morgen in den Läden kommt gibt es ab Seite 162 das Thema "Datenkompression: Packprogramme im Vergleich".


    Hat jemand sich diesen Artikel schon durchgelesen? Wär nämlich so ziemlich das einzige, was mich an dieser c't Ausgabe interessieren würde :zunge:

  • Getestet wurden aktuelle "Ein"- und Viel-Format-Packer, allerdings mit starkemSchwerpunkt auf Funktionsvielfalt und Bedienung, weniger auf Kompressionsstärke.

    So wird beispielsweise das Fehlen der Unterstützung von "BlakHole"-Archiven (*.bh) als negativ angesehen, obwohl dieses Format kaum praktische Bedeutung haben dürfte; zumindest kenne ich das Tool noch nicht mal - und man findet im Internet eher dritte Programme, die dieses Format auch unterstützen, als das Original selber.

    Also mir bringt dieser "Vergleichstest" nicht viel, da mir Effizienz wichtiger ist als Schnickschnack.

  • Hi,

    hier noch eine recht gute Vergleichstabelle:
    http://studwww.ugent.be/~jdebock/last_updates.htm

    und hier:
    http://www.uwe-freese.de/sonstiges/produkt-tests/packer.html

    Ich denke 7-Zip ist tatsächlich am interessantesten, da es nen gesunden Mittelweg zwischen Geschwindigkeit und Compressionsratio geht.
    UHARC ist mir beim packen definitiv zu lahm.


    ....cya

Jetzt mitmachen!

Sie haben noch kein Benutzerkonto auf unserer Seite? Registrieren Sie sich kostenlos und nehmen Sie an unserer Community teil!