Analog capture: Dropped Frames - welche HDD?

  • Es geht rein um das digitalisieren und archivieren analogen SD Materials (nach Gubel) mit einer BM Karte. Das System funktioniert soweit einwandfrei. Nachdem eine (von mehreren) alte HDDso langsam den Geist aufgab, brauchte es eh ein Upgrade. Ich habe also kürzlich mein(e) System(e) etwas umgebaut, um ein wenig flexibler zu sein.

    In einem Fantec QB35U31R werkeln (zunächst) 2 neue 8TB Seagate Barracuda, der Fantec ist an den Capture Rechner angeschlossen per USB 3.0. Das BM Disk Speed Test Programm analysiert (mehr als) ausreichende Geschwindigkeit zum Capturen des unkomprimierten Rohmaterials. Beim Digitalisieren eines Bandes hatte ich dann allerdings dropped frames, nach neuem Versuch wieder, an anderen Stellen.

    Testläufe haben dann folgendes ergeben:
    - 8TB Platten (beide) im Fantec: dropped frames
    - 8TB Platten (beide) im Rechner: dropped frames
    - ca. 10 Jahre alte 1,5TB Seagate HDD im Fantec: alles ok
    - ca. 10 Jahre alte 1,5TB Seagate HDD im Rechner: alles ok

    Da wäre also geschlussfolgert, dass beide neuen HDD eine Macke haben (was keine Analyse bestätigt und wofür es auch sonst keine Anzeichen gibt).

    Wo liegt mein Denkfehler? Sind die neuen HDD nicht geeignet? (genaue Bezeichnung: ST8000DM004)

    Freue mich über Tips und Anmerkungen

    Zuspieler zum Capturen:

    Panasonic NV-FS200/Panasonic NV-HS900/Panasonic NV-HS950/Panasonic NV-HS960/Panasonic AG-1980(NTSC)/Panasonic NV-W1 (Multinorm)/Sony SL-HF100 (Betamax)/Panasonic NV-DS27EG (miniDV)/Sony PD170P (miniDV/DVCAM)/Sony TRV480E (Video8/Hi8/Digital8)
    Nakamichi Dragon (Audio Tapes)/Yamaha MDX-595 (miniDisc)

    Capture Workstations:
    - Win 7 / Edius NX for HDV / Edius 8
    - Win10 / Intensity Pro 4K < EZCoo HDMI Splitter < Panasonic DMR-EH535EGS / Panasonic DMR-ES10

  • Seagate BarraCuda Compute 8TB ab € 131,39 (2024) | Preisvergleich Geizhals Deutschland
    ✔ Preisvergleich für Seagate BarraCuda Compute 8TB ✔ Bewertungen ✔ Produktinfo ⇒ Formfaktor: 3.5" • Drehzahl: 5400rpm • Cache: 256MB • Leistungsaufnahme: 5.3W…
    geizhals.de

    Aufnahmeverfahren:
    Shingled Magnetic Recording (SMR), Drive Managed SMR

    SMR scheichert, wegen der überlappenden aufzeichnungsverfahren in 256MB-Blöcken.
    das hat schon manchen NAS-Raid in den abgrund gerissen.

    ich schaue grundsätzlich immer aufs aufnahmeverfahren,
    da es in der vergangenheit probleme mit falschangaben gab.


    ich weiß zwar nicht wie dein plazbedarf deiner roh-aufnahmen ist,
    aber als aufnahme cache wäre vielleicht eine kleine (gute) SSD sinnvoll?
    die haben keine verzögerungen beim schreiben

  • Ja, entweder liegt es am USB-3-Anschluss, oder die HDD müsste anders formatiert werden. 8 TB-HDDs setze ich aus Sicherheitsgründen nie ein, da diese viel zu groß sind. Auch Goldwingfahrer tat das nicht. Ich nehme nur HDDs oder SSDs bis zu einer Größe von 2 TB. Goldwingfahrer nur bis 1 TB.

    Denn, sollte einmal der Controller von der HDD defekt sein, dann sind alle Datenn auf der 8 TB-HDD weg. Und die Daten von den 8 TB wieder herzustellen, dürfte sehr lange dauern, sollte das überhaupt möglich sein, wenn der HDD-Controller komplett defekt ist.

    Ich habe bei HDDs (Seagate, WD) keine Probleme, wenn ich diese mit 512 Byte oder in 4KB-Sektoren formatiere. Wobei 4K technisch besser ist. Außerdem niemals über externe USB-Anschlüsse capturen. Immer die SATA 3-Anschlüsse bevorzugen, da diese direkt mit den PCI-E-Anschlüssen (System-Bus) gekoppelt sind. Oder Thunderbolt. USB funktioniert nur dann gut, wenn eine USB-Capture-Box mit einem USB-Anschluss am PC verbunden ist. Es kann aber auch sein, dass die Magnetspuren zu dicht beisammen sind. Das sind jetzt meine Erfahrungen.

    Die Backplanes von Fantec sind gut, hatte ich auch einmal im Einsatz. Da gab es keine Probleme. Ich selbst bevorzuge aber von ICY DOCK das Backplane MB153SP-B, 3-in-2 SATA / SAS, 6GBit/s, statt 3GBit/s.

    ICY DOCK: Backplane MB153SP-B:
    https://de.icydock.com/product_64.html

    Meine ältesten SATA/SAS-HDDs sind aus 2007. Die Seagates klacken noch nicht. Meine älteste IDE-HDD (IBM, 60GB) ist von 2000. Klackt zwar leicht, hält aber noch Daten. Darauf werden selbstverständlich keine Daten mehr gespeichert.

  • Vielen Dank für Eure Antworten!

    Also, erstmal:
    Es handelt sich nicht um ein NAS und auch nicht um ein Raid, sondern um ein externes 4Bay Festplattengehäuse, als JBOD betrieben (NAS stehen mehrere im Haus, per LAN angebunden, aber auf denen Capture ich nicht). Unter Windows wird jede HDD einzeln als Laufwerk angesprochen. Die Datenrate ist per USB 3.0 (bzw. 3.2) mehr als ausreichend. Hintergrund: ich wollte die Daten recht easy an andere Rechner portieren können. Ich habe zwar S-ATA Wechselrahmen, aber die bekomme ich nicht so einfach ans Laptop ;)

    USB Anschluss (Port, Kabel, etc.) als Fehlerquelle schließe ich eigentlich aus, denn die alte HDD läuft ja problemlos im Fantec, während die neuen HDD auch an S-ATA im Rechner nicht sauber capturen. Das Kabel ist selbstverständlich ein wertiges für hohe Übertragungsraten, was ich ja auch nochmal getestet habe, siehe oben.

    An SMR habe ich auch schon gedacht und -tatsächlich- die alte HDD, eine ST31500341AS ist eine CMR, das klingt also logisch. Ich hätte da auch noch zwei ältere 4TB WD Red (CMR) übrig, mit denen ich mal testen könnte.

    Mir ging es bei den HDD darum, einigermaßen viel Speicherplatz zum zwischenlagern von Daten (Schnittprojekten, etc.) zu haben. Wenn der Workaround also ist, dass ich auf der alten 1,5TB HDD capture und die Daten dann zu Schnitt/Kodierung auf die neuen HDD übertrage, ist das für mich ok. Heisst, ich kann capturen, während das Laptop codiert (ich digitalisiere einem Freund grad recht viel Familienvideos)

    Zuspieler zum Capturen:

    Panasonic NV-FS200/Panasonic NV-HS900/Panasonic NV-HS950/Panasonic NV-HS960/Panasonic AG-1980(NTSC)/Panasonic NV-W1 (Multinorm)/Sony SL-HF100 (Betamax)/Panasonic NV-DS27EG (miniDV)/Sony PD170P (miniDV/DVCAM)/Sony TRV480E (Video8/Hi8/Digital8)
    Nakamichi Dragon (Audio Tapes)/Yamaha MDX-595 (miniDisc)

    Capture Workstations:
    - Win 7 / Edius NX for HDV / Edius 8
    - Win10 / Intensity Pro 4K < EZCoo HDMI Splitter < Panasonic DMR-EH535EGS / Panasonic DMR-ES10

  • Lieber Laufi,

    unser Kollege HQ-LQ hat es sicherlich gut gemeint und dachte, dass deine HDDs im NAS-Betrieb laufen, mit denen du aufnimmst. Bevor wir dir helfen können, solltest du uns immer die Konfiguration beschreiben, wie deine Hardware mit dem PC oder Laptop verbunden ist. Hellsehen können wir nicht, vielleicht nur erahnen, wie du arbeitest.

    Mit deinem jetzigen Schreiben hast du das getan, und wir können dein Problem besser nachvollziehen. Ja, für SD-Videos ist USB- 3 mehr als ausreichend. Da kann man sogar bis HD 720p capturen, in Echtzeit. Theoretisch kann man auch mit HD 1080p capturen, dann jedoch müssen die vielen Daten vom USB-Interface „nachgeschaufelt“ werden. Ein Laptop mit externer SATA-Schnittstelle wäre empfehlenswert gewesen. Aber ich nehme an, dass du, als du den Laptop gekauft hast, noch nicht an einen Schnittbetrieb gedacht hast.

    Die Punkte, die du als Fehlerquelle genannt hast, schließe ich auch aus. Die im Artikel genannte HDD „ST2000DM008, 2TB“, die nicht richtig funktionieren soll, kann ich nicht bestätigen. Eine „WD2000EFAX, 2TB“, besitze ich nicht. Aber eine WD2003FZEX, 2TB, und diese funktioniert ebenfalls einwandfrei. Die HDDs laufen alle sehr gut mit Win. 7 Pro, 64bit. Die „ST2000DM008, 2TB“ sogar unter Win. 10 Pro, 64bit.

    Die Gefahr bei großen HDDs ist, dass eben auch viele Daten verloren gehen können. Aber das ist deine persönliche Entscheidung, ob du z. Bsp. 8 TB-HDDs einsetzen willst. Verlockend ist das schon, das zu machen. Aber das macht eigentlich nur bei RAID 6 einen Sinn, bei denen alle Daten auf z. Bsp. 4 HDDs gleichzeitig gespeichert werden. Das wäre dann die beste Ausfallsicherheit die es gibt, ist aber leider sehr teuer. Du kannst deinen Laptop nicht mit einem Server-Rechenzentrum vergleichen.

    Ja, schneiden und danach auf eine andere HDD codieren, das ist in Ordnung.

    Capturen und gleichzeitig codieren?
    Habe ich das richtig verstanden ? Du nimmst gleichzeitig auf, während du codierst ? Um Himmels Willen, das mache ja nicht einmal ich mit meinem Avid-System. Dafür hat dein 4-Kerne Laptop die Leistung gar nicht, die man normalerweise für solche Aufgaben braucht. Mit einem billigen Gamer-PC oder Gamer-Laptop geht das nicht.

    Dazu braucht man ein Dual-Core Server-Mainboard mit mindestens einer 12 Kerne-CPU pro Sockel (insgesamt 24 Kerne). Außerdem eine wirklich gute Grafikkarte. Ansonsten treten mit Sicherheit viele Codierfehler auf. Solche für Schnittbetrieb geeignete hochwertige Laptops, gibt es z. Bsp. von Dell, HP oder MacIntosh. Aber wenn du meinst, du siehst keine Codierfehler, dann ist das deine Sache. Ich kann dir nur meine Erfahrungen mitteilen. Es bleibt dir leider nichts anderes übrig, als ältere HDDs zu kaufen.

  • Nachtrag:

    ich habe nur deswegen den fallbeispiel mit SMR-Platten in NAS aufgeführt,
    um zu unterstreichen wie problematisch SMR-Platten im allgemeinen sind.

    der eine fall war, dass SMR-NAS-platten, die nicht als SMR ausgewiesen wurden.
    hatte so manches NAS schwere probleme bereitet.

    auch wenn man nur nach allgemeinen bewertungen sucht,
    merkt man, dass die platte generell schlecht performen.
    besonders, je voller eine platte wird.

    ich habe keine direkte erfahrungen mit SMR-Platten,
    da ich diese schon an tag 1 gemieden habe.

    mit der zeit haben sich die beriebsysteme wohl an die SMR-eigenheiten angepasst,
    aber zeitkritische anwendungen würde ich denen nicht anvertrauen.
    nur als datengrab sollten diese keine probleme machen.

    schön, dass du eine ersatz capture platte hast, die stabil genug läuft.

  • Capturen und gleichzeitig codieren?

    Ja. Selbstverständlich auf verschiedenen Rechnern. :rolleyes: Und dass es sich am analoges SD Material handelt, stand bereist im ersten Satz meines Postings ;)

    ich habe nur deswegen den fallbeispiel mit SMR-Platten in NAS aufgeführt,
    um zu unterstreichen wie problematisch SMR-Platten im allgemeinen sind.

    der eine fall war, dass SMR-NAS-platten, die nicht als SMR ausgewiesen wurden.
    hatte so manches NAS schwere probleme bereitet.

    [...]

    nur als datengrab sollten diese keine probleme machen.

    Ich kannte die Problematik von der NAS Einrichtung (und auch die Nesseln in die sich der ein oder andere HDD Anbieter gesetzt hat, z.B. WD, nachdem sie klammheimlich auf SMR umgestellt haben), ich wollte nur klarstellen, dass ich die ST eben nicht im NAS, sondern als JBOD laufen habe. Und ich bin fest davon ausgegangen, dass SD capturing da keine Probleme macht - da hab ich was gelernt, vielen Dank! Was übrigens auch nicht schlimm ist, da ich ja noch für alle Digitalisierungsstationen genügend alte HDDs habe. Mehr als 500GB pro Projekt braucht es meistens nicht.

    Und übrigens: die neuen Platten heissen seit der ersten Sekunde "Datengrab01 und 02", dafür waren sie von Anfang an gedacht, da kommen alte Projekte drauf ;)

    Zuspieler zum Capturen:

    Panasonic NV-FS200/Panasonic NV-HS900/Panasonic NV-HS950/Panasonic NV-HS960/Panasonic AG-1980(NTSC)/Panasonic NV-W1 (Multinorm)/Sony SL-HF100 (Betamax)/Panasonic NV-DS27EG (miniDV)/Sony PD170P (miniDV/DVCAM)/Sony TRV480E (Video8/Hi8/Digital8)
    Nakamichi Dragon (Audio Tapes)/Yamaha MDX-595 (miniDisc)

    Capture Workstations:
    - Win 7 / Edius NX for HDV / Edius 8
    - Win10 / Intensity Pro 4K < EZCoo HDMI Splitter < Panasonic DMR-EH535EGS / Panasonic DMR-ES10

  • Für SD capture reicht auch locker USB2. In meinem Fall mit USB3 und einer WD CMR externen Festplatte brach die Übertragungsrate kurzzeitig ein und verursachte dropped Frames. Virtual Dub hatte keine dropped Frames gemeldet da der Fehler ja beim Schreiben der Daten passierte.

    Interessant sind die Beiträge von einem unseren amerikanischen Kollegen "jwillis84" im Bezug auf USB3. Ich kopier mal einen seiner Beiträge dazu hier:


    "I'm biased through recent experience with Blackmagic Shuttles and USB 3.0 chipsets.

    I had similar problems when using ASMedia or any brand of USB 3.0 port chipset "except" the uPD NEC 720200 USB chip.

    The USB connection has a lot of problems, "especially" with USB 3.0

    USB 2.0 was a very rigid specification, chip makers and motherboard makers were literally "forced" to participate in compatibility "bake off events" before they could label their products USB 2.0 and could sell them to consumers.

    USB 3.0 manufacturers fought back.. and removed the "must comply with standards" edict.. it was a marketing and sales "disaster" of EPIC proportions.

    (Most) motherboard manufacturers simply removed all documentation about their USB 3.0 ports and declined any technical inquiries about them.

    HP and Dell "rigidly" paid extra money to buy motherboards with (one) USB 2.0 chip on one port.. so they would not get sued into oblivion. all other ports were no-name USB 3.0 ports

    The problem is in the design of the cheap USB 3.0 ports.

    NEC was the champion of USB 2.0 chipset design, first to market, and very compliant. When they made their USB 3.0 chips.. they did not sell well because.. they "were not cheap". So they partnered with Apple, Sonnet and very high end PCI/PCIe companies to make add-on cards with the uPD 720200 chip .. they are very compliant, compatible, industrial grade.

    .. and.. they don't drop frames

    There is a myth they are hard to find.. not true.. but they are not cheap.

    The cards today cost around $30 for a two port uPD 720200 based card.

    Now the high speeds involved mean sometimes you can get one port that works fine.. but another does not.. so be sure to not trust only one port.. and switch around to find one that does not drop frames.

    On a bad port.. frame drops are fairly common.

    Using AMARec 3.10 (on a good port) .. absolutely "Zero" frames should be dropped.

    Its probably not a capture device problem.

    Its probably a sketchy USB chipset, or bad USB port.. in manufacturing even if you have a great USB chip a bad solder job.. or weak PC board trace can cause problems"

  • Ja, das ist richtig, dass diese SMR-HDDs immer langsamer werden, je mehr Daten darauf geschrieben werden. Das ist aber bei CMR-HDDs auch so. Bei einer neuen ST2000DM008 (SMR) habe ich eine Leserate von 210 MByte/s. Fast voll, fällt die Platte auf 120 - 150 MByte/s zurück. Man muss aber auch den Preis von ca. 58 Euro bedenken, den die HDD kostet.

    Eine schnelle HDD, die die Datenrate von ca. 220 MByte/s halten würde, ist die Seagate IronWolf Pro NAS ST2000NT001 (CMR). Allerdings kostet die HDD auch um die 122 Euro. Ich hatte bis jetzt noch keine Probleme mit HDDs von Seagate, Samsung oder WD. Nur eine hochgelobte HDD von Hitachi, hielt bei mir leider nur 1 Jahr.

    Auf 10 Jahre alte HDDs, würde ich aus Sicherheitsgründen keine Daten mehr speichern. Aber gut, dass uns der Kollege HQ-LQ auf die Probleme von SMR-Platten hingewiesen hat.

    Codierfehler können auch entstehen, wenn man CUDA bei einem Codec dazuschaltet, der CUDA nicht richtig unterstützt. Der systemintegrierte Renderer muss solange warten, bis der Renderer von der CUDA-Grafikkarte den Bildanteil fertiggerendert hat, den dieser ausgewählt hat. Die Codierübergänge der beiden Renderer müssen dabei genau stimmen, sonst kommt es zu Codierfehlern.

    Wir schalten im Studiobetrieb immer die Cudafunktion ab. Auch wenn dadurch der Codiervorgang etwas länger dauert. Voraussetzung ist eine GK mit min. 8 GB-RAM. Bei Codecs von MainConcept dürfte es bei CUDA keine Probleme geben.

    Das sind Tipps, die ich nach meiner Erfahrung geben kann.

  • [...]

    The USB connection has a lot of problems, "especially" with USB 3.0


    [...]

    Vielen Dank für die Expertise, das ist sehr interessant!

    Die BM Software stoppt bei dropped frames, Edius meldet das auch, wimre.

    Mein Workflow ist jetzt so:
    Capture auf S-ATA (CMR) in zwei Rechnern, umkopieren der Rohdateien auf das Fantec USB (mit den ST HDDs) und Bearbeitung/Codierung mit einem dritten Rechner. Das funktioniert so reibungslos und ich komme effektiv voran.

    Zuspieler zum Capturen:

    Panasonic NV-FS200/Panasonic NV-HS900/Panasonic NV-HS950/Panasonic NV-HS960/Panasonic AG-1980(NTSC)/Panasonic NV-W1 (Multinorm)/Sony SL-HF100 (Betamax)/Panasonic NV-DS27EG (miniDV)/Sony PD170P (miniDV/DVCAM)/Sony TRV480E (Video8/Hi8/Digital8)
    Nakamichi Dragon (Audio Tapes)/Yamaha MDX-595 (miniDisc)

    Capture Workstations:
    - Win 7 / Edius NX for HDV / Edius 8
    - Win10 / Intensity Pro 4K < EZCoo HDMI Splitter < Panasonic DMR-EH535EGS / Panasonic DMR-ES10

Participate now!

Don’t have an account yet? Register yourself now and be a part of our community!