13.11.2020 (Doc Storage)
4.2 von 5, (12 Bewertungen)

Videodateien: 3 TByte/Monat möglichst kostensparend speichern

Leserfrage: Wir sind ein Händler und produzieren Youtube-Videos für Bastler und Hobbyisten. Im Moment speichern wir alle Rohdateien, da wir manches für zukünftige Erklär-Videos recyclen wollen. Aber so kommen jeden Monat mal schnell 2 bis 3 TByte dazu. Unser kleines NAS ist bereits am Ende.

Für unseren 5-Mann-Betrieb ist dies bereits ein erschreckendes Datenvolumen und nun suchen wir einen Weg diese große Datenmenge bezahlbar zu sichern. Tempo ist nicht das Problem. Zugriff benötigen wir im Prinzip auch nur ein bis zwei Mal. Zur Wahl stehen Cloud-Speicher, das NAS mit größeren Festplatten erweitern oder einen Server mit vielen HDDs aufbauen? Wir sind uns nicht sicher, in welche Richtung wir gehen sollen, deswegen würde uns jeder Tipp helfen.

Antwort Doc Storage:

2 bis 3 TByte sind eine sehr ordentliche Datenmenge. Da wir mit dem Fragesteller noch weiter konferiert hatten, wissen wir, dass mit drei bis vier Kameras gedreht wird und so bis zu sechs Stunden Videomaterial zusammenkommen. Das Anliegen hat natürlich sofort zu einer Diskussion innerhalb der Redaktion geführt und nachdem unser Chefredakteur die Frage im letzten Freitags-Newsletter angeschnitten hatte, erreichten uns direkt auch weitere Leserzuschriften.

Vielen Dank dafür! 🙏

Entgegen meiner üblichen Gepflogenheiten, halte ich mich zurück und fasse die eingereichten Vorschläge zusammen. Jedenfalls zunächst.

Unsere erste Gegenfrage lautete natürlich, wie bezahlbar zu definieren sei? Aber wir können uns vorstellen, was gemeint ist. Gesucht ist keine Profi-Business-Lösung, sondern eher etwas aus der Kategorie ambitionierter Home-User.

Bei 3 TByte monatlich kommen übers Jahr gesehen 36 TByte zusammen. Da schließen wir einen Cloud-Speicher direkt als zu teuer aus.

Eine 10-TByte-Festplatte kostet zwischen rund 250 bis 300 Euro. 16 TByte liegen bei 360 bis größer 400 Euro. Diese Kosten wären schon mal fix.

8-Bay-NAS als Ideallösung

Grundsätzlich würden wir zu einem 8-Bay-NAS (ca. 1.000 Euro) raten. Eine RAID-5-Konfiguration schützt beispielsweise vor Datenverlust beim Ausfall einer Festplatte und mit acht Einschüben könnte man mit vier oder fünf HDDs starten und hätte noch Luft zum Nachlegen. Über die Zeit summieren sich aber die Kosten. Knapp kalkuliert würde sich ein 8-Bay-NAS mit fünf 8-TByte-HDDs auf rund 2.000 Euro belaufen. Um es vorweg zu nehmen, zu teuer für unseren User.

Speicherung auf Single-HDDs als Alternative

Eine Festplatte kann immer kaputt gehen, aber eigentlich ist das Risiko überschaubar. In diesem Beispiel halten wir es für verschmerzbar, falls eine bestimmte Anzahl an Videos verloren gehen sollte. Zumal wir uns mit dem User darauf verständigt haben, dass die Halbwertszeit der Videos nach spätestens zwei gegen null tendieren.

Anstelle eines NAS lautet die Alternative, Speicherung auf einzelnen Festplatten. Hier empfehlen wir den Einsatz einer Quickport-Dockingstation. Da müssten es auch keine 10-TB-HDDs sein, sondern es genügen kleinere und günstigere. Dann wären im Zweifel auch nicht so viele Daten weg. Diese Art der Speicherung erschwert allerdings das Wiederfinden einzelner Videos.

Zwischenschritt und Spiel auf Zeit

Antwort des Lesers: »Da ich mich noch nicht endgültig für eine richtige Lösung entscheiden konnte, habe ich einen Zwischenschritt gemacht. Gerade habe ich für je 130 Euro zwei Desktop-Festplatten WD My Book 8 TB mit USB 3.0, Passwortschutz und automatischer Backup-Software bestellt. Somit steht zunächst ein Backup-Volumen von 16 TByte zur Verfügung und ich habe Zeit mich zu entscheiden. Betrieben werden die Platten in dem externen 4-fach-Gehäuse FANTEC QB-35U31 (ca. 138 Euro).

Netzwerkspeicher im Selbstbau

Da ich gerne auch mal bastele und im Winter mehr Zeit habe (Saisongeschäft, im Winter ist es ruhiger), will ich vielleicht ein großes NAS selber bauen. Wir haben hier einen ungenutzten Rechner rumstehen, mit Xeon-Prozessor und 16 GByte RAM. Der Rechner ist mit einem guten Mainboard ausgestattet und ein vernünftiges Netzteil und ein Gehäuse für sechs bis acht Festplatten kriege ich für rund 150 Euro.

Nach dem Weihnachtsgeschäft würde ich vier bis fünf 8-TByte-HDD (NAS Edition) kaufen und zum Beispiel mit OpenMediaVault arbeiten. Dann hätte ich für rund 1.000 Euro ein richtig großes und performantes System. Was haltet Ihr von der Idee?

Youtuber-Use-Case: Videoarchiv auf einzelnen HDDs im Peli-Case

Unser Spezl Alex Feldmann, Kameramann, Videoproduzent und Betreiber des Youtube-Kanals moviemaniacsDE, hat nahezu identische Anforderungen. Nur, dass er seine Videos quasi für immer aufbewahrt. Sein Kommentar zu dem Anwenderbeispiel: »Ich produziere ja ähnlich viel oder auch manchmal mehr. Ich mache von dem neuen Material (nach einem Dreh, Pressematerial, ...) eine Kopie auf die aktuelle Arbeitsplatte und gleichzeitig als Backup aufs RAID. Je nach Sicherheitsanforderungen, wäre noch ein automatisches spiegeln woandershin möglich.

Wenn ich das Material zum Schnitt nicht mehr benötige, lösche ich es am Arbeitsvolume, dann lebt es noch am RAID. Und alle paar Monaten schiebe ich die alten Sachen vom RAID auf zwei Platten. Eine davon bewahre ich bei mir auf und eine außer Haus. Insgesamt habe ich so zirka 200 TByte in einer Art Cold-Storage, aber noch immer im schnellen Zugriff, wenn ich was vom alten Material brauche.

Archivfestplatten im Peli-Case (Bild Alex Feldmann)Archivfestplatten im Peli-Case (Bild Alex Feldmann)Die alten Platten packe ich in Hüllen und verstaue sie in sogenannten Peli-Cases. Eine aktuelle 16-TByte-Platte würde dem Anwender für sechs Monate reichen, dann ist so ein Koffer in fünf Jahren voll. Wenn ich mal Material von einer alten Platte benötige, stecke ich die einfach in ein externes USB-Gehäuse und kopiere mir die Daten.

Um Sachen wiederzufinden helfen sprechende Ordnernamen. Außerdem nutze ich eine einfache Bilddatenbank, die auch mit externen Laufwerken und Videos umgehen kann (das tun fast alle). Sobald ich eine externe Platte voll habe, lass ich diese von der Bilddatenbank einscannen und vergebe zudem Metadaten und Schlagworte um Videos wiederzufinden.«

NAS im Selbstbau auf Open-Source-Basis

Von Jan, einem ebenfalls langjährigen Follower von speicherguide.de, erreicht uns folgender Ratschlag: »Dieser Beitrag über Open-Source-NAS-Betriebssysteme ist ein guter Startpunkt.

Ich würde mir eines dieser Systeme herausfischen und auf einen ECC-Server (gegebenenfalls tut es auch ein günstiger AMD EPIC) setzen, mit mindestens 64 GByte RAM und sechs bis acht 16-TByte-Platten (SATA) sowie einer 1-TByte-SSD (lahme SATA/NVMe) für das OS und zwei kleine Cache-SSDs mit je 500 GByte (schnelle PCIe-4 4 Lane Pflicht!).

Der Autor der Wahl zum Aufbau des cached ZFS (ggf. etwas an den Vorgaben der Klickie-Bunti-GUI des NAS vorbei) heißt Michael Plura. Der hat bei iX mal einen schönen Artikel zu beschleunigtem ZFS-RAID geschrieben.

Bei der Nutzung würde ich empfehlen, neben SMB – wenn Zeit ist und Performance eine Rolle spielt – NFSv4 zu testen. Dadurch lassen sich die Übertragungsraten gleich mal verdoppeln, je nach Anwendungsfall.

Auch mehrere SMB-Server (VMs) auf der Maschine können gegen die Protokolleinfalt aus Redmond Wunder wirken...

Auf der Netzseite helfen entweder 10 GbE oder Bundeling von vier Gbit-Ethernet-NICs. Je nach Portokasse... Viel Spaß und viel Erfolg

---------------

Was haltet Ihr von den Vorschlägen? Wie würdet Ihr die Anforderung lösen? Ich freue mich auf Eure Antworten.

Gruß
Doc Storage

Stellen Sie Ihre Frage
Doc. tec. Storage beantwortet alle Ihre technischen Fragen zu Storage, Backup & Co.

Stellen Sie Ihre Frage an: DocStorage@speicherguide.de
Kommentare (7)
20.11.2020 - Butch Bellazonta

Herzlichen Dank!

14.11.2020 - Gast

Hallo Butch,
danke für die Nachfrage. Hier der Arbeitsablauf noch etwas genauer.
1.) Wir bekommen das Rohmaterial vom Dreh. Speicherkarte, Dateitransfer, … meistens gemischt.
2.) Alles wird am Arbeitsvolume gesammelt. Wenn die Daten für ein Projekt komplett, aber noch unbearbeitet sind, wird das ganze aufs RAID kopiert, sozusagen als Backup. (Bis dahin liegt das Drehmaterial auch noch auf den Kamerabändern vor, diese werden erst später gelöscht)
3.) Das Rohmaterial wird geschnitten, Beiträge erzeugt, Untertitel, ….

14.11.2020 - Gast

4.) Wenn die Produktion fertig ist, wird der gesamte Arbeitsorder, inkl. Projektfiles, … aufs RAID kopiert und am Arbeitsvolume gelöscht. Alle Daten inkl. aller Rohdaten befinden sich dann nur am RAID (und, je nach Setup, ggf. im RAID-Backup) Alle paar Wochen, je nachdem, wieviele Daten angefallen sind (üblicherweise wenn es genug Daten für eine neue Platte gibt), werden diese fertiggestellten Projekte zweimal auf eine externe Platte kopiert. Ein Platte wird In-House, eine außer Haus gelagert. Von der externen Platte wird dann auch noch der Index für die Bilddatenbank erzeugt. Am Ende werden die Daten vom RAID gelöscht.
Als Platten nutzen wir Standard 3,5“ Platten von WD (blue oder green, keine RAID-Modelle), jede Platte wird vor Benutzung hier low-level formatiert, mit 16kB Blöcken Sektorgröße. (Videodateien sind groß, da reichen große Blöcke). Um mechanische Probleme zu verhindern räumen wir tatsächlich einmal im Jahr die Platten raus und lassen diese für ein paar Minuten im externen Gehäuse laufen. Das läßt sich einfach und mit wenig Aufwand nebenbei erledigen. Wir haben ca. 2010 mit dem externen speichern von Videodaten begonnen. Damals waren es Platten mit je 1TB, die Videoauflösungen waren noch viel kleiner. Eher um Platz zu sparen haben wir dann vor ca. 3-4 Jahren alle 1 TB Platten auf 6TB/8TB Platten zusammenkopiert. Damit wurde gleichzeitig auch die alte Hardware erneuert. Sobald es in 1-2 Jahren Platten mit 20-24 TB (zu sinnvollen Preisen) gibt, würde ich das auch wieder machen.

14.11.2020 - Gast

Das alles entspricht unserem Sicherheitsbedürfnis und reicht für unsere Ansprüche. Wir haben auch schon für Filmproduktionen gearbeitet, dort waren die Anforderungen deutlich höher und wurden großteils von der Versicherung vorgegeben. Das beginnt mit einem Datenintegritätstest nach jeder einzelnen Aufnahme; täglicher, komplette Test der Datenspeicher; zusätzliche Cloud-Speicherung und laufende Tests der Datenintegrität über alle Produktionsschritte hinweg. Und das Ganze in einer verschlüsselten Umgebung, damit von außen kein unberechtigter Zugriff auf das Material erfolgen kann. Für unseren Bedarf ist das aber Overkill.

Die einfache Bilddatenbank die wir zum verwalten nutzen ist Media Pro, das hat als iView Media begonnen und ist dann über Microsoft jetzt zu Phase One gewandert (die Software war früher auch mal Teil des Office Pakets am Mac). Inzwischen gibt es bei Phase One einen Nachfolger dafür, für unsere Zwecke reicht es aber allemal. Im Grunde reicht jede einfache Bilddatenbank die auch externe Festplatten verwalten kann, wenn diese nicht angeschlossen sind. Das konnte früber auch Adobe Lightroom, aber leider nicht mehr, seit es CC gibt. Das neue Lightroom Classic soll es wieder können, das haben wir aber noch nie getestet.

Weitere Fragen? Gerne her damit!

13.11.2020 - LHL

Das mit LTO und LTFS war auch meine erste "Eingebung" ... bis ich mal geguckt habe, was es so im Consumer Markt gibt an Devices und zu welchem Preis. Ich hab nichts für dieses Budget gefunden ... schade eigentlich.

13.11.2020 - Butch Bellazonta

Lieber Doc Storage, als ich kürzlich die Ankündigung zu diesem Artikel las, befiel mich eine (gelinde gesagt) aufgeregte Vorfreude! Ich arbeite in einer Film-Produktionsfirma und kämpfe mit exakt solchen Daten Volumina, gelegentlich auch mehr.
Im Artikel lese ich nun: "Wenn ich das Material zum Schnitt nicht mehr benötige, lösche ich es am Arbeitsvolume, dann lebt es noch am RAID. Und alle paar Monaten schiebe ich die alten Sachen vom RAID auf zwei Platten."

Zu meiner Frage: Was bedeutet "schiebe ich die alten Sachen vom RAID"? Verschieben oder Kopieren? Wenn Verschieben, würde es doch bedeuten, dass eine 16TB-Platte im Peli-Case in den Koffer wandert und dort ggf. viele Jahre nicht im Betrieb ist. Ist eine solche HDD tatsächlich geeignet, über Jahre als verlässliches Archiv meiner Filmmaterial Rohdaten zu fungieren?

Zudem eine Frage an Herrn Feldmann: um was handelt es sich bei der "einfachen Bilddatenbank"?

Danke für Ihre Arbeit und Gruß
Butch

13.11.2020 - StorageConsultant

Als Alternative zu NAS oder Speicherung auf einzelnen Festplatten sehe ich eine Lösung mit einem LTO8 Laufwerk (SAS) und LTFS. Je größer die zu speichernde Datenmenge, desto interessanter ist diese Alternative.


Mehr von Doc. tec. Storage 20.11.2020 Was ist Zoned-Storage?

Die ersten Hersteller setzen auf die sogenannte Zoned-Storage-Architektur. Was genau ist Zoned-Storage? Brauchen wir die neue Technologie und sollen wir uns damit befassen? Ja, sagt Doc Storage.


13.11.2020 Videodateien: 3 TByte/Monat möglichst kostensparend speichern

Die Anforderung eines Handwerk-Betriebs lautet, bis zu 3 TByte an Videodaten monatlich möglichst kostensparend zu speichern. Redaktion und Leser haben sich dazu Gedanken gemacht. Bisheriger Favorit: einzelne HDDs und mittelfristig ein NAS-Server im Eigenbau.


30.10.2020 Was ist eine Shared Nothing-Architektur?

Seid kurzen sprechen Hersteller und Sprecher wie selbstverständlich von Shared-Nothing-Architekturen. Doc Storage erklärt, was darunter zu verstehen ist und warum Shared-Nothing sogar Sinn macht.


16.10.2020 Welchen Stellenwert haben DMTF Redfish und SNIA Swordfish?

Die neuen Versionen von DMTF Redfish und SNIA Swordfish enthalten nun NVMe- und NVMe-oF-Spezifikations-Verbesserungen. Da stellt sich die Frage nach dem Stellenwert der beiden Spezifikationen. Doc Storage sieht hier aber großes Potenzial.


09.10.2020 Was ist ein Ingress- und Egress-Datenverkehr?

Der Datenverkehr unterliegt in Netzwerken und der Cloud einem definierten Regelwerk. Dabei fallen mitunter auch die Begriffe Ingress und Egress. Doc Storage erklärt die Bedeutung.


28.08.2020 Kommt mit QLC-Flash das Ende hybrider Speichersysteme?

Die ersten Arrays mit QLC-Flash-Technologie kommen auf den Markt. Einige Hersteller prophezeien durchaus vollmundig das Ende von hybriden Speichersystemen, also solchen mit Flash und Festplatten. Ist dieses Ende tatsächlich absehbar oder wie sieht die Zukunft in diesem Bereich aus?

powered by
N-TEC GmbH FAST LTA
Cloudian Tech Data IBM Storage Hub
Microchip
Folgen Sie speicherguide.de auch auf unseren Social-Media-Kanälen
Folgen Sie und auf Facebook Folgen Sie und auf YouTube Folgen Sie und auf Twitter