07.05.2021 (Doc Storage)
4.5 von 5, (2 Bewertungen)

Was versteht man unter Dual-Layer Erasure-Coding?

Leserfrage: Das Erasure-Coding ist bekannt und wurde auch schon mehrmals beschrieben. Nun sind wir zuletzt mehrfach auf den Begriff Dual-Layer Erasure-Coding gestoßen. Was verbirgt sich dahinter bzw. was sollte man dazu wissen?

Antwort Doc Storage:

Vor allem vor dem Hintergrund damals neuer Anwendungen im Edge-Computing wurde bereits am 30. Mai 2017 ein zweischichtiges, löschcodiertes, fehlertolerantes, verteiltes Speichersystem vorgestellt, welches granularen Zugriff für Lese- und Schreibvorgänge bietet. Das System wurde von Nancy Lynch, Kishori Konwar, N. Prakash und Muriel Medard konzipiert.

Beim Edge-Computing kommunizieren Clients mit einer Schicht von Servern, welche sich geografisch in ihrer Nähe befinden. Diese »Edge« genannte Schicht kommuniziert wiederum mit einer weiteren Schicht von Servern, dem »Back End«. Die Edge-Server bieten geringe Zugriffszeiten, temporären Speicher für Client-Vorgänge und verwenden die Server im Back End zur dauerhaften Datenablage. Der hierzu verwendete Algorithmus LDS (Layered Data Storage) bietet verschiedene für das Edge-Computing geeignete Funktionen, arbeitet in asynchronen Umgebungen für die Nachrichtenübermittlung, unterstützt parallele Lese- und Schreibvorgänge und kann in verschiedenen Güteklassen den Ausfall von Hardware tolerieren. Die Methode verwendet Löschcodes (Regenerierungscodes), um Daten im Back End zu speichern.

Im Vergleich zu den bisher üblichen Methoden (z.B. Reed-Solomon-Codes) bieten diese neu zu generierenden Löschcodes nicht nur geringere Kosten für den Speicher im Back-End, sondern senken auch die Kosten für die Kommunikation bei Lesevorgängen, falls Werte vollständig von neu erstellt werden müssen. Diese zweischichtige (dual layer) Architektur ermöglicht eine modulare Implementierung von Protokollen für atomare Codes und solchen für Löschvorgänge. Die Löschcodes beschränken sich hierbei hauptsächlich auf die Interaktion zwischen beiden Schichten.

Die Leistungskosten, die mit Lese- und Schreibvorgängen verbunden sind, lassen sich hierbei auch einfach herleiten. Werden in einem System mehrere unabhängige LDS-Instanzen ausgeführt und hält dieses System daneben mehrere Objekte, und wird zu einem beliebigen Zeitpunkt während der Ausführung nur ein kleiner Teil der Objekte gleichzeitig aufgerufen, sind die Gesamtspeicherkosten von denen des persistenten Speichers in der Back-End-Schicht abhängig.

Soviel zur Theorie. In der Zwischenzeit haben einige Anbieter, sowohl im Speicher- als auch im Cloud-Bereich, dieses Konzept adaptiert und bieten zum Teil Lösungen auf dessen Basis an. Beispiele sind Microsoft mit Azure, IBM mit ihrem Spectrum Scale oder NetApp.

Gruß
Doc Storage

Stellen Sie Ihre Frage
Doc. tec. Storage beantwortet alle Ihre technischen Fragen zu Storage, Backup & Co.

Stellen Sie Ihre Frage an: DocStorage@speicherguide.de

Mehr von Doc. tec. Storage 14.01.2022 Speichermarkt 2022 – Versuch eines Ausblickes

Doc Storage wagt einen Ausblick auf das Storage-Jahr 2022. Für ihn stehen aber nicht die üblichen Anbieterthemen im Fokus, sondern vielmehr strukturelle Entwicklungen in den Rechenzentren. Aus seiner Sicht ist es unumgänglichen künftig verstärkt auf Tape zu setzen, genauso wie die Rückkehr lokaler Speichersysteme. Auch in der Cloud sieht er Potenzial, aber nicht so, wie es die einschlägigen Marktauguren vorhersagen.


10.12.2021 Externes USB-Laufwerk verliert Dateien – warum?

Von einer externen USB-Festplatte verschwinden plötzlich Dateien. Auch der Austausch gegen eine neue SSD bringt keine entscheidende Verbesserung. Liegt die Ursache in den Dateisystem-Einstellungen?


12.11.2021 Backup-Monitoring von grundlegender Bedeutung

Wie wichtig ist ein Backup-Monitoring? Macht ein Investment in externe Tools Sinn, denn eigentlich müsste das doch in jeder Backup-Software integriert sein?


29.10.2021 Was ist Unraid?

Unraid ist ein Betriebssystem für Heim-Server. Es soll zwar mit einer Parität vor Datenverlust schützen, aber nicht den bekannten RAID-Mechanismen folgen. Was sollten man zu Unraid wissen?


10.09.2021 Wie sinnvoll ist eine Backup-Appliance mit NVMe?

Backup und Recovery können gar nicht schnell genug sein. Mittlerweile gibt es auch die ersten NVMe-Backup-Appliances. Doch, kommen die Vorzüge von NVMe in einer Backup-Appliance überhaupt zum Tragen? Zumal NVMe ja doch noch teurer ist, als Standard-SSDs.


16.07.2021 Hilft Immutable-Backup/-Storage gegen Ransomware?

Nach den letzten Cyberangriffen wird immer wieder Immutable-Backup bzw. Immutable-Storage als die Lösung gegen Ransomware genannt. Ist das wirklich der neue Heilsbringer, wie es beispielsweise Cohesity propagiert? Oder gibt es auch kritische Stimmen?

powered by
N-TEC GmbH Overland-Tandberg
FAST LTA Quantum
Folgen Sie speicherguide.de auch auf unseren Social-Media-Kanälen
Folgen Sie uns auf Facebook Folgen Sie uns auf Pinterest Folgen Sie uns auf YouTube
Folgen Sie uns auf Twitter Folgen Sie uns auf Linkedin speicherguide.de-News per RSS-Feed