27.11.2015 (Doc Storage)
4.3 von 5, (9 Bewertungen)

Was ist Erasure-Coding?

Leserfrage: Die RAID-Technologie scheint nun langsam aber sicher das Ende der Fahnenstange zu erreichen. Neuere Festplatten- und vor allem All-Flash-Arrays setzen auf Erasure-Coding bei der Datenredundanz. Was sind die generellen Vorteile von Erasure-Coding? Und: Gibt’s auch Nachteile?

Antwort Doc Storage:

Erasure Coding (EC) benutzt eine Methode zum Schutz gespeicherter Daten. Bei EC werden die Informationen in einzelne Stücke zerlegt, mit redundanten Informationen erweitert und an physikalisch unterschiedlichen Orten in einem Speichersystem abgelegt. Ziel dieser Methode ist es zu ermöglichen, korrumpierte, veränderte oder verloren gegangene Daten mit Hilfe der noch an anderer Stelle vorhandenen Informationen rekonstruieren zu können. EC wird oftmals an Stelle traditionellen RAID-Schutzes eingesetzt, weil die Hersteller davon überzeugt sind, dass EC deutlich weniger Zeit und Backend-Operationen bei der Rekonstruktion von Informationen in Anspruch nimmt. Allerdings kann EC auch wesentlich mehr der zentralen CPU-Zeit belegen, da in diesem Falle ja kein dedizierter RAID-Prozessor mehr vorhanden ist – was dann wiederum in längeren Liefer- und Schreibzeiten mündet.

EC nutzt hierfür eine mathematische Funktion, um eine Reihe von Ziffern zu erzeugen, die sich mit Hilfe sogenannter polynomer Interpolation auf Korrektheit prüfen und im Falle des Verlustes einzelner Ziffern wieder vervollständigen lassen. Eine einfache Darstellung dieser Funktion ist f = a + b, wobei a die ursprüngliche Menge von Informationen und b die Anzahl von redundant hinzugefügten Daten ist. f ergibt dann die tatsächlich zu speichernde Anzahl an Informationen. Als Beispiel: in einer EC 16/24-Konfiguration werden acht zusätzliche Ziffern zu den ursprünglichen 16 hinzugefügt. Die gesamten 24 Ziffern werden an 24 unterschiedlichen Orten im Array, idealerweise auf 24 unterschiedlichen Laufwerken, abgelegt. Die Originaldaten lassen sich nun jederzeit aus nur 16 der 24 gespeicherten Fragmente rekonstruieren. Das heißt, theoretisch könnten in diesem Array bis zu acht Laufwerke ausfallen, ohne dass es zu Datenverlust kommt.

Der große Vorteil von EC ist weiterhin, dass Daten redundant und wiederherstellbar auch über Gerätegrenzen hinaus geschrieben werden können. Dazu muss man sich nur vorher auf einen generellen Algorithmus einigen. Damit ermöglicht EC den Aufbau von beispielsweise Cloud- oder Archivspeichern auf Basis von Standard- oder unterschiedlicher Hardware unter Beibehaltung der von RAID her gewohnten Redundanzen bzw. logischen Schutzmechanismen.

Gruß
Doc Storage

Stellen Sie Ihre Frage
Doc. tec. Storage beantwortet alle Ihre technischen Fragen zu Storage, Backup & Co.

Stellen Sie Ihre Frage an: DocStorage@speicherguide.de

Mehr von Doc. tec. Storage 12.04.2019 Dateisysteme für den PByte-Bereich

Datenberge jenseits des PByte-Bereichs, Cloud-Anbindungen und Analytics-Szenarien stellen Dateiysteme vor neue Herausforderungen. Der Markt bietet einige Optionen wie GPFS, Gluster FS, OneFS oder QF2. Worauf gilt es zu achten?


05.04.2019 Neuordnung des Storage-Tiering

Nachdem sich Flash und SSDs mittlerweile auch in mehrere Leistungsklassen unterteilen, steht die Technik nicht mehr nur für Tier 0. 15k-HDDs scheinen vor dem Aus zu stehen. Gilt dies auch für alle SAS-Platten? Wie sieht die Neuordnung des Storage-Tiering aktuell aus?


15.03.2019 30 Jahre World Wide Web: Was gibt es zu feiern?

Das World Wide Web feiert seinen 30. Geburtstag. Ohne dem Internet ist unser heutiges Leben nicht mehr vorstellbar. Für Doc Storage hat das Netz aber auch genug Schattenseiten. An Regulierungen bzw. an das vom Erfinder erhoffte bessere Internet, glaubt er nicht.


08.03.2019 Datenanordnung im RAID 10 mit 8 Platten

In einem Server wird ein RAID 10 mit acht Festplatten unter Windows 2008 R2 betrieben. Nun ist ein Laufwerk ausgefallen. Da sich nur wenige Daten auf den HDDs befinden, besteht die Möglichkeit, dass die defekte Platte eventuell gar keine Daten enthält?


22.02.2019 Welcher RAID-Level für welche Anwendung?

Gibt es eigentliche eine Faustregel, welches RAID-Level für welche Anwendung am besten geeignet ist? Ich denke da zum Beispiel an Datenbanken mit sehr vielen Zugriffen bei relativ kleinen Datenmengen oder an Webserver und als Extrem auf der anderen Seite Bild-Datenbanken, Audio-Server beim Rundfunk, Video-Archive mit sehr hohen Datenvolumen.


15.02.2019 Was sagt DWPD über SSDs aus?

Im Zusammenhang mit (Enterprise-)SSDs wird oft die Qualitätsgröße DWPD (Drive Writes Per Day) genutzt. Meist wird die Angabe auch für einen Zeitraum von fünf Jahren spezifiziert. Was sagt DWPD genau aus und mit welcher Standard-Lebensdauer darf man rechnen?

powered by
Boston Server & Storage Solutions Datacore Software
Fujitsu Technology Solutions GmbH Seagate Technology
N-TEC GmbH FAST LTA AG