07.05.2021 (Doc Storage)
4.5 von 5, (2 Bewertungen)

Was versteht man unter Dual-Layer Erasure-Coding?

Leserfrage: Das Erasure-Coding ist bekannt und wurde auch schon mehrmals beschrieben. Nun sind wir zuletzt mehrfach auf den Begriff Dual-Layer Erasure-Coding gestoßen. Was verbirgt sich dahinter bzw. was sollte man dazu wissen?

Antwort Doc Storage:

Vor allem vor dem Hintergrund damals neuer Anwendungen im Edge-Computing wurde bereits am 30. Mai 2017 ein zweischichtiges, löschcodiertes, fehlertolerantes, verteiltes Speichersystem vorgestellt, welches granularen Zugriff für Lese- und Schreibvorgänge bietet. Das System wurde von Nancy Lynch, Kishori Konwar, N. Prakash und Muriel Medard konzipiert.

Beim Edge-Computing kommunizieren Clients mit einer Schicht von Servern, welche sich geografisch in ihrer Nähe befinden. Diese »Edge« genannte Schicht kommuniziert wiederum mit einer weiteren Schicht von Servern, dem »Back End«. Die Edge-Server bieten geringe Zugriffszeiten, temporären Speicher für Client-Vorgänge und verwenden die Server im Back End zur dauerhaften Datenablage. Der hierzu verwendete Algorithmus LDS (Layered Data Storage) bietet verschiedene für das Edge-Computing geeignete Funktionen, arbeitet in asynchronen Umgebungen für die Nachrichtenübermittlung, unterstützt parallele Lese- und Schreibvorgänge und kann in verschiedenen Güteklassen den Ausfall von Hardware tolerieren. Die Methode verwendet Löschcodes (Regenerierungscodes), um Daten im Back End zu speichern.

Anzeige

Im Vergleich zu den bisher üblichen Methoden (z.B. Reed-Solomon-Codes) bieten diese neu zu generierenden Löschcodes nicht nur geringere Kosten für den Speicher im Back-End, sondern senken auch die Kosten für die Kommunikation bei Lesevorgängen, falls Werte vollständig von neu erstellt werden müssen. Diese zweischichtige (dual layer) Architektur ermöglicht eine modulare Implementierung von Protokollen für atomare Codes und solchen für Löschvorgänge. Die Löschcodes beschränken sich hierbei hauptsächlich auf die Interaktion zwischen beiden Schichten.

Die Leistungskosten, die mit Lese- und Schreibvorgängen verbunden sind, lassen sich hierbei auch einfach herleiten. Werden in einem System mehrere unabhängige LDS-Instanzen ausgeführt und hält dieses System daneben mehrere Objekte, und wird zu einem beliebigen Zeitpunkt während der Ausführung nur ein kleiner Teil der Objekte gleichzeitig aufgerufen, sind die Gesamtspeicherkosten von denen des persistenten Speichers in der Back-End-Schicht abhängig.

Soviel zur Theorie. In der Zwischenzeit haben einige Anbieter, sowohl im Speicher- als auch im Cloud-Bereich, dieses Konzept adaptiert und bieten zum Teil Lösungen auf dessen Basis an. Beispiele sind Microsoft mit Azure, IBM mit ihrem Spectrum Scale oder NetApp.

Gruß
Doc Storage

Stellen Sie Ihre Frage
Doc. tec. Storage beantwortet alle Ihre technischen Fragen zu Storage, Backup & Co.

Stellen Sie Ihre Frage an: DocStorage@speicherguide.de

Mehr von Doc. tec. Storage 10.09.2021 Wie sinnvoll ist eine Backup-Appliance mit NVMe?

Backup und Recovery können gar nicht schnell genug sein. Mittlerweile gibt es auch die ersten NVMe-Backup-Appliances. Doch, kommen die Vorzüge von NVMe in einer Backup-Appliance überhaupt zum Tragen? Zumal NVMe ja doch noch teurer ist, als Standard-SSDs.


16.07.2021 Hilft Immutable-Backup/-Storage gegen Ransomware?

Nach den letzten Cyberangriffen wird immer wieder Immutable-Backup bzw. Immutable-Storage als die Lösung gegen Ransomware genannt. Ist das wirklich der neue Heilsbringer, wie es beispielsweise Cohesity propagiert? Oder gibt es auch kritische Stimmen?


18.06.2021 Zuverlässigkeit von Bändern und Tape-Librarys

Hersteller und Anbieter sprechen von einer Tape-Renaissance, von einer ausgereiften Technologie und dergleichen. Wie ist es bei Tape-Librarys mit der Mechanik? Früher gab es da oft oder regelmäßig Probleme. Auch haben sich Tapes immer wieder nicht auslesen lassen. Wie sind die Erfahrungen mit der Zuverlässigkeit von Bändern heute?


28.05.2021 Hardware- vs. Software-RAID: Was sind die Unterschiede?

In einer der letzten Storage-Veranstaltungen ging es darum, dass es keinen Sinn mehr mache auf Hardware-RAID zu setzen. Gehört dem Software-RAID wirklich die Zukunft? Welches sind die jeweiligen Vor- und Nachteile und auf was kommt es an?


07.05.2021 Was versteht man unter Dual-Layer Erasure-Coding?

Das Erasure-Coding ist bekannt und wurde auch schon mehrmals beschrieben. Nun sind wir zuletzt mehrfach auf den Begriff Dual-Layer Erasure-Coding gestoßen. Was verbirgt sich dahinter bzw. was sollte man dazu wissen?


19.03.2021 Backup-Konzept: Was sind die Türme von Hanoi?

Die Türme von Hanoi sind eine eher selten eingesetzte Datensicherungsstrategie. Was sind die Vorteile und warum hat sich das Konzept nicht durchgesetzt? Doc Storage erklärt den komplexen Backup-Plan und warum es gar nicht abwegig ist, darüber nachzudenken.

powered by
N-TEC GmbH FAST LTA
Quantum Cloudian
Overland-Tandberg
Folgen Sie speicherguide.de auch auf unseren Social-Media-Kanälen
Folgen Sie uns auf Facebook Folgen Sie uns auf Pinterest Folgen Sie uns auf YouTube
Folgen Sie uns auf Twitter Folgen Sie uns auf Linkedin speicherguide.de-News per RSS-Feed