Philosophie: Wie archivieren für die naechsten 10 Jahre?

    Ein liebes 'Hallo' an alle.

    Danke erst einmal für meine Aufnahme ins Forum. Ich bin ein 'Newbie' hier in diesem Forum, der vor kurzem einen Camcorder für seine Familie gekauft hat und gerne wissen möchte, wie er seine kostbaren Filme möglichst gut für die nächsten 10-20 Jahre sichern kann. Ich habe insbesondere ein Interesse daran, wie Ihr, die sich wahrscheinlich sehr gut mit der Thematik auskennen, es bewerkstelligen. Ich würde gerne mal ein paar 'Philosophien' oder 'Leitlinien' erstellen und sammeln, die dem(der) normalen Camcorder-Familienvater(mutter) hilft, seine kostbaren Schätze zu sichern. Danke schon mal im voraus. PS: Leider konnte ich all dies nicht im Internet finden.

    Hier einige Informationen über meine Geräte, die ich so benutze:

    Camcorder: Panasonic HC-V707, erstellt MPEG-2 streams in HD Qualität
    OS: Linux Ubuntu 12.04
    Schon mal Erfahrungen gesammelt mit: winff, ffmpeg, handbreak, avidemux, Python fuer Automatisierung


    Problemerläuterung

    Der Camcorder von Panasonic erzeugt wahnsinnig tolle Aufnahmen! Ich kann diesen nur wärmstens empfehlen, insbesondere in Kombination mit einem HD Fernseher und HDMI Steckverbindungen. Ebenfalls 'wahnsinning' ist jedoch auch die erzeugte Datenmenge an Filmen: Wenn ich mal hoch rechne, dann komme ich auf etwa 100 GByte pro Jahr, vorausgesetzt ich mache so weiter wie bisher: Film nach Film von Kind und Kegel.

    Die bereits bekannte Frage, die sich wahrscheinlich jeder mal gestellt hat, ist: Wie sicher ich meine Daten?

    Zumal ich aus gegebenen Gründen Erfahrungen mit Datensicherung habe, habe ich mindestens eine Kopie von ein und derselben Datei, auf einem anderem Medium. Die HD Filme 'sprengen' jedoch den Rahmen aufgrund ihrer Datenmenge. Ich würde gerne einige Ideen diskutieren und wissen, wie Ihr Eure Daten so organisiert. Hier sind einige Denkansätze von mir:

    1. - Alle Filme auf CD, DVD oder Blue Rays brennen. - Hmm ... ich habe bereits einige DVDs verloren (unlesbar nach 1-2 Jahren) und bin demnach relativ negativ gegenüber dieser Variante eingestellt. Was denkt Ihr?

    2. - Man hat ein wenig Geld und kauft zwei 1 oder 2 TByte große Platten und kopiert einfach die Rohdaten auf diese Medien. Sobald eine Festplatte ausfällt (Fehler), kauft man sofort eine zweite und 'spiegelt' die Daten. Zeitrahmen: 10 Jahre. Richtig?

    3. - Man macht das so wie bei 2., komprimiert aber die Filme. Dann kann man kleinere Platten (bsp. 500 GByte groß) verwenden, was kostengünstiger ist. (Übrigens, siehe auch spezifische Frage bzgl. meiner Kompression weiter unten!)

    Was denkt Ihr?

    Gibt es eine goldene Regel, welche eine gute Archivierung von Filmdaten für die nächsten 10-20 Jahre garantiert? Leider habe ich keine Anleitungen im Internet gefunden.

    Des weiteren: Lohnt sich wirklich eine Kompression der Filmdaten mit Hinblick auf die zeitliche Entwicklung der Festplattenkapazität und des Festplattenpreises? Kann man davon ausgehen, dass in 5-10 Jahren die Kapazität weiter steigt (exponentiell) und die Preise sinken werden (e.g., 20 TByte für 100 Euro in 2018)? Wenn letzteres stimmt, dann braucht man doch nicht die Filme zu komprimieren und wartet einfach, oder? Wie sieht es aus mit der Haltbarkeit der Festplatten?

    Danke schon einmal im voraus für ein paar Kommentare ...

    Grüße.


    PS: Ich hoffe, dass ich im richtigen Thread gelandet bin. Wenn nicht, dann schon mal ein 'sorry' an die Administratoren.


    Zusätzliche Frage zu meiner Kompression

    Zum Komprimieren benutze ich HandBrake und ein Python Skript, welches das Komprimieren und Kopieren der Filmdateien automatisiert. Ich benutze folgende Einstellungen in HandBrake:

    Video
    MP4, H264, 1280x720, constant framerate, quality:25, rate:25, constant quality, ref. Frames=1,
    max B-frames=3, pyramidal B-frames=normal, Weighted B-frames=Smart, CABAC, 8x8 Transform,
    Motion = Diamond, Subpel mode = 2SATD, motion range = 16, Adaptive Direc mode = Spatial,
    Adaptive B-frames = Optimal, Partitions = None, Trellis = Off

    Audio
    AAC (faac), 160 bit rate, Dolby Pro Logic II, DRC=off, Gain=0

    Der String mit den Optionen sieht so aus: ref=1:subq=2:rc-lookahead=10:trellis=0:me=dia:partitions=none:b-adapt=2

    Die Kompression verkleinert die Filme um einen Faktor 7 bis 8. Wie komprimiert Ihr Eure Filme, ist meine Auswahl der Parameter gut ausgewählt?

    Was ich machen würde: Original Daten auf zwei Festplatte speichern, geht eine Platte kaputt, neue Platte kaufen und die defekte ersetzen.

    Quote

    Die Kompression verkleinert die Filme um einen Faktor 7 bis 8. Wie komprimiert Ihr Eure Filme, ist meine Auswahl der Parameter gut ausgewählt?


    sorry, nutze nie handbrake, aber bei den Einstellungen würde ich definitv andere wählen, allein schon die 'Qualität' von 25 wäre mir zu niedrig,...

    Quote from PanaHD

    1. - Alle Filme auf CD, DVD oder Blue Rays brennen. - Hmm ... ich habe bereits einige DVDs verloren (unlesbar nach 1-2 Jahren) und bin demnach relativ negativ gegenüber dieser Variante eingestellt. Was denkt Ihr?


    Ich hab' eine ganze Reihe von DVD-Rs, die ich vor 7-8 Jahren gebrannt habe. Die sind nicht nur alle lesbar, sie haben auch immer noch sehr gute PXX-Werte in PlexTools. Alles eine Frage der verwendeten Medien und der Lagerung. Meine gebrannten Blu Rays sind noch zu "jung" um die Haltbarkeit zu beurteilen.

    Quote from PanaHD

    Sobald eine Festplatte ausfällt (Fehler), kauft man sofort eine zweite und 'spiegelt' die Daten.

    Kleiner Denkfehler, das Spiegeln nach dem Ausfall der Platte kann schwierig sein. :D
    Beim Einsatz von HDs fuer Backups ist Redundanz unverzichtbar.

    Danke für die Beiträge!

    Quote from Selur

    sorry, nutze nie handbrake, aber bei den Einstellungen würde ich definitv andere wählen, allein schon die 'Qualität' von 25 wäre mir zu niedrig,...

    'nutze nie handbrake': Meinst Du, ich soll nie handbrake nutzen, da es schlecht ist, oder meinst Du, dass Du noch nie handbrake benutzt hast? :)

    Aha, die Parameter sind als nicht so toll obwohl ich aber eine ganze Weile experimentiert habe und das die besten waren, hmmm ... . HD720 und Qualität 25: Das ist ein Kompromiss, sonst bekomme ich keine gute Komprimierung hin. Was ist sonst noch schlecht gewählt? Was wären Deine Parameter?

    Quote from Groucho2004

    Kleiner Denkfehler, das Spiegeln nach dem Ausfall der Platte kann schwierig sein. :D
    Beim Einsatz von HDs fuer Backups ist Redundanz unverzichtbar..

    Ah, ich meine, dass wenn 1 von 2 Festplatten ausfällt, ich eine dritte kaufe, auf die ich dann alle Daten von der noch funktionierenden Platte kopiere.


    Gibt es sonst noch andere Kommentare oder Ideen? Wie archiviert Ihr Eure Filme?

    Quote from LigH

    Wer weiß, was Handbrake unter "Qualität 25" versteht. Hoffentlich nicht das gleiche wie CRF 25 für x264: Das wäre wahrlich schlecht (für "Archivierung" sollte man unter 20 kommen).

    Also, in dem Fenster von handbrake wird erklärt (Sprechblase), dass dies ein Qualitätsfaktor ist. Er wird mit 'RF' abgekürzt. Wenn dies nun dieses CRF ist und ich 20 auswählen soll, wie kann ich dann 10x komprimieren? Wäre das unmoeglich?

    Quote

    Meinst Du, ich soll nie handbrake nutzen, da es schlecht ist, oder meinst Du, dass Du noch nie handbrake benutzt hast


    Meine das ich nie handbrake nutze, Du kannst es gerne nutzen,.... :)

    Quote

    Das ist ein Kompromiss, sonst bekomme ich keine gute Komprimierung hin.


    Da ist der Unterschied, zwischen Dir, mir und vermutlich einigen anderen Leuten, bei der Archivierung von Sachen über deren Verlust ich mich ärgern würde wäre ich nicht so Kompromiss freudig. CRF 16-18 wäre da eher was ich wählen würde.

    Quote

    Was wären Deine Parameter?


    kann ich so leider nicht sagen, da ich keine Ahnung habe wie Handbrake die Parameter benennt,... klassischerweise würde ich einfach x264s preset 'slower' verwenden. ;)

    Quote

    Wenn dies nun dieses CRF ist und ich 20 auswählen soll, wie kann ich dann 10x komprimieren?


    Niedrigere CRF Werte führen i.d.R. zu höheren Datenraten, da mehr Details erhalten bleiben, für Archivierungen heben die meisten Leute die gesagt das Rohmaterial bzw. das Material so auf, dass sie es später noch einmal, möglichst ohne Verluste, weiterverarbeiten können.

    Quote

    dann komme ich auf etwa 100 GByte pro Jahr,


    selbst wenn das Material 10mal so groß wäre wäre würde ich da nicht verlustbehaftet komprimieren,...

    Cu Selur

    Quote from PanaHD

    dann komme ich auf etwa 100 GByte pro Jahr

    Die Datenmenge ist ein Witz.

    Quote

    1. - Alle Filme auf CD, DVD oder Blue Rays brennen. - Hmm ... ich habe bereits einige DVDs verloren (unlesbar nach 1-2 Jahren) und bin demnach relativ negativ gegenüber dieser Variante eingestellt. Was denkt Ihr?

    Ich verwende optische Medien nur, wenn es sich sehr anbietet. Beispielsweise für die fertigen Video-DVDs. Und dann treibe ich auch viel Aufwand:
    http://forum.chip.de/datensicherung…en-1404105.html

    Quote

    2. - Man hat ein wenig Geld und kauft zwei 1 oder 2 TByte große Platten und kopiert einfach die Rohdaten auf diese Medien. Sobald eine Festplatte ausfällt (Fehler), kauft man sofort eine zweite und 'spiegelt' die Daten. Zeitrahmen: 10 Jahre. Richtig?

    Das ist seit Jahren mein Vorgehen. Aber Achtung: Du merkst häufig nicht, dass eine Platte im sterben liegt. Wenn du dann von einer defekten Platte weitere Kopien anfertigst, ist das Archiv im Popo.
    Paritätsdaten beugen dem vor:
    http://forum.chip.de/datensicherung…tml#post7751049

    Eine sehr hohe Redundanz ist auch nie verkehrt. Eigene Aufnahmen liegen bei mir auf mindestens 4 Platten.
    Und zur Größe: Ich kaufe nur nach bester Preis/Speichermenge. Derzeit also 3TB Platten.
    Schöner Nebeneffekt: Man kann auch andere Daten ausreichend sichern.

    Quote


    3. - Man macht das so wie bei 2., komprimiert aber die Filme. Dann kann man kleinere Platten (bsp. 500 GByte groß) verwenden, was kostengünstiger ist. (Übrigens, siehe auch spezifische Frage bzgl. meiner Kompression weiter unten!)

    Kostengünstiger? ROFL!
    Eine 3TB Platte kostet 130€. Klar kosten drei Platten dann 400€ - aber dann kannst alles (nicht nur Videoaufnahmen) sichern. Professionelle Datenrettung ist viel teurer.
    Ein Bekannter hatte sich letztens den BKA Trojaner eingefangen. Und da er gerade Daten sichern wollte, war noch seine EINZIGE Backup-Platte angeschlossen.
    Er hat dann auch ein paar hundert Euro ausgegeben, um die Verschlüsselung knacken zu lassen. War leider erfolglos.
    Und ich habe ihm noch ein paar Jahre zuvor angeboten, seine Hochzeitsbilder bei mir zu sichern...
    Übrigens: Wenn du anderen guten Freunden/Familienmitgliedern vertraust, macht eine gemeinsame Datensicherung. Dann kann auch deine Wohnung/Haus abbrennen und deine Daten liegen noch sicher an anderer Stelle.

    Quote

    Wie sieht es aus mit der Haltbarkeit der Festplatten?


    Eine ältere Google-Studie kommt zum Ergebnis, dass die Ausfallquote von Platten aussehen, wie eine Badewanne:
    Am Anfang fallen die Montagsgeräte aus. Dann sinkt es auf ein sehr niedriges Niveau. Nach ein paar Jahren steigt die Ausfallquote kontinuierlich an.
    Ich teile meine Platten deshalb in zwei Kategorien ein: mit/ohne Garantie

    Quote from Groucho2004

    Alles eine Frage der verwendeten Medien und der Lagerung.


    Und was machst du, wenn du an gefälschte Rohlinge kommst? Meine Yuden waren verdammt schlecht. Habe das gleich nach dem Brennen verifiziert, um einen Freund zu zeigen, wie toll sie sind. Dann noch ein paar Andere aus der Bestellung getestet und anschliessend alle in die Tonne geworfen.
    Und wie oft überprüfst du sie? Ich schaffe es ja nicht mal meine Platten zu testen - Wie soll man dann solches Kleinvieh kontrollieren?

    Master Sal
    Nicht schlecht ;-)........

    Quote

    Ich schaffe es ja nicht mal meine Platten zu testen -


    Da wirst Du aber nicht umhin kommen das in Angriff zu nehmen.

    Quote

    Wie soll man dann solches Kleinvieh kontrollieren?


    das ist aber keine Frage....bei jemanden der sich selber "Datensicherungsfreak" betitelt....hast Du noch die passenden "ISOs" auch auf den HDDs,dann reichts wenn Du den Überprüfungsinterwall auf z.Bsp. auf 5 Jahre setzt bei den Brennlingen.
    Selber bin ich mit meinen damals gekaufte TY-002 sehr zufrieden

    Datenrettungen Normwandlungen Restaurierungen Digitalisierungen

    Hallo an alle.

    Zunächst einmal ein großes 'Danke !' für all Eure Beiträge.

    Ich sehe also, dass ein Großteil von Euch die Rohdaten nicht löscht. Ist das richtig? Komprimiert Ihr überhaupt nicht? Falls doch, was würdet Ihr mit den folgenden Rohdaten machen, vorausgesetzt Ihr habt handbrake, ffmpeg, mencoder oder andere Programme (Beispiele wenn's geht für Linux).

    Danke für ein paar Ideen im voraus ... .

    Quote

    Ich sehe also, dass ein Großteil von Euch die Rohdaten nicht löscht. Ist das richtig?


    Richtig. Bei Bandaufnahmen heben die meisten Leute das Band und die digitalen Kopien auf.

    Quote

    Komprimiert Ihr überhaupt nicht?


    Ist doch schon komprimiert. 'MPEG-2 streams in HD Qualität' :) Wenn würde man i.d.R. eben mit einem niedrigen crf (und ordentlichen presets) komprimieren. :)
    z.B.:

    Code
    ffmpeg -i "path to input" -vcodec libx264 -preset slower -tune film -profile high -crf 18 -threads 0 "path to output"


    oder

    Code
    ffmpeg -i "path to input" -vcodec libx264 -preset slower -tune film -profile high -x264opts bluray-compat=1 -crf 18 -threads 0 "path to output"


    persönlich würde ich sogar je nach Material crf 16 anstatt crf 18 verwenden. ;)

    Cu Selur

    Quote from Goldwingfahrer

    Da wirst Du aber nicht umhin kommen das in Angriff zu nehmen.

    Ich überprüfe nur, bevor kopiert wird. Mir ist da einfach der Strom zu schade so was stundenlang durchlaufen zu lassen. Dann lieber eine Platte mehr und gut ist.


    Quote

    das ist aber keine Frage....bei jemanden der sich selber "Datensicherungsfreak" betitelt....hast Du noch die passenden "ISOs" auch auf den HDDs,dann reichts wenn Du den Überprüfungsinterwall auf z.Bsp. auf 5 Jahre setzt bei den Brennlingen.


    Ich überprüfe so grob alle 2 Jahre einige Datenträger. Durch DVDisaster erkennt man ja sofort Fehler. Das wird dann direkt auf den Rohling notiert mit Datum und ggf Unregelmäßigkeiten (zB Leseeinbrüchen).

    Danke Selur.

    Quote from Selur

    Ist doch schon komprimiert. 'MPEG-2 streams in HD Qualität' Wenn würde man i.d.R. eben mit einem niedrigen crf (und ordentlichen presets) komprimieren.


    Na klar, stimmt. Ich meinte nur 'noch weiter komprimieren'. - Da habe ich unten noch eine Frage. Zunächst ...

    Code
    ffmpeg -i "path to input" -vcodec libx264 -preset slower -tune film -profile high -crf 18 -threads 0 "path to output"


    und

    Code
    ffmpeg -i "path to input" -vcodec libx264 -preset slower -tune film -profile high -x264opts bluray-compat=1 -crf 18 -threads 0 "path to output"

    Mein ffmpeg läuft leider nur ohne '-profile high'. Welche Version von ffmpeg benutzt Du? Die allerletzte? Ich benutze: ffmpeg version 0.8.3-4:0.8.3-0ubuntu0.12.04.1

    Der Grund, warum ich seit gestern ein wenig genervt bin ist der folgende: Ich habe jetzt akzeptiert, dass ich die Rohfilmdaten speichern und lagern werde. Dann muss ich halt weitere Festplatten kaufen, alles kein Problem.
    So ... da ich nicht will, dass ich die Filme immer von dem Camcorder via HDMI am Fernseher abspiele, dachte ich, meinen LG BD370 Blue Ray Player dafür einzusetzen - der hat ja einen USB Eingang (Fuer Festplatte, USB stick, usw.). Er kann alles lesen außer MPEG-2, der Dummi, was das Rohdatenformat ist (MPEG-2 transport stream (video/mp2t))! Ich muss also in jedem Fall, ffmpeg und dergleichen bitten, mir eine andere h264 Datei zu kreieren.

    Hier nochmal Eigenschaften der Rohdaten aus ffmpeg -i:

    Code
    Seems stream 0 codec frame rate differs from container frame rate: 50.00 (50/1) -> 50.00 (50/1) Input #0, mpegts, from 'test.MTS':   Duration: 00:00:15.84, start: 1.918611, bitrate: 11922 kb/s   Program 1      Stream #0.0[0x1011]: Video: h264 (High), yuv420p, 1920x1080 [PAR 1:1 DAR 16:9], 50 fps, 50 tbr, 90k tbn, 50 tbc     Stream #0.1[0x1100]: Audio: ac3, 48000 Hz, stereo, s16, 256 kb/s     Stream #0.2[0x1200]: Subtitle: pgssub

    Wie kann ich also ein wirklich verlustfreies mp4 mit ffmpeg erstellen? Mittels -sameq? Soll ich .avi oder .mp4 benutzen? Beides kann der LG BD730 player lesen ... .

    Code
    ffmpeg -i test.MTS -sameq test.avi

    Entschuldigt wegen der vielen Fragen ... und vielen Dank im voraus für ein paar Kommentare.

    ffmpeg compiliere ich von den Sourcen, aber k.A. von wann die Version war,... eventuell hilft es anstatt -profile high "-vprofile high" zu verwenden,.. das Profile ist aber auch nicht soo wichtig,... x264 wird vermutlich als default high nehmen,..


    Quote

    Wie kann ich also ein wirklich verlustfreies mp4 mit ffmpeg erstellen? Mittels -sameq?


    Für wirklich verlusstfrei müsste man lossless AVC (-cqp 0) verwenden, womit der Player vermutlich aber auch nicht klar kommt. ;)

    Quote

    Soll ich .avi oder .mp4 benutzen?


    auf Grund des kleineren Container overheads würde ich .mp4 bevorzugen

    tach auch !

    ich bin gerade dabei meine 2000(plus) DVD auf HD zu speichern.ich kann Euch sagen das tut weh ,
    wenn man berechnet wieviel geld man in diese dämlichen Scheiben gesteckt hat.
    Und heute bezahlt man 1/10 tel für den Platz auf einer HD .

    Gruss BergH

    tach auch !
    Ja da ist was dran, allerdings kommt 99% davon als Wiederholung im TV und kann neu aufgenommen werden.
    Vielleicht schmeiße ich den Müll auch einfach weg.........
    Ich habe soviel Material, daß ich das bis zum statistischen Lebensende kaum gucken kann, dito Hörbücher , dito Ebooks, diro TV-Serien.

    Das klingt in meinen Augen, wie ein Luxusproblem, nicht wahr ? ;)

    Gruss BergH

Participate now!

Don’t have an account yet? Register yourself now and be a part of our community!

Register Yourself Login