27.11.2015 (Doc Storage)
4.3 von 5, (10 Bewertungen)

Was ist Erasure-Coding?

Leserfrage: Die RAID-Technologie scheint nun langsam aber sicher das Ende der Fahnenstange zu erreichen. Neuere Festplatten- und vor allem All-Flash-Arrays setzen auf Erasure-Coding bei der Datenredundanz. Was sind die generellen Vorteile von Erasure-Coding? Und: Gibt’s auch Nachteile?

Antwort Doc Storage:

Erasure Coding (EC) benutzt eine Methode zum Schutz gespeicherter Daten. Bei EC werden die Informationen in einzelne Stücke zerlegt, mit redundanten Informationen erweitert und an physikalisch unterschiedlichen Orten in einem Speichersystem abgelegt. Ziel dieser Methode ist es zu ermöglichen, korrumpierte, veränderte oder verloren gegangene Daten mit Hilfe der noch an anderer Stelle vorhandenen Informationen rekonstruieren zu können. EC wird oftmals an Stelle traditionellen RAID-Schutzes eingesetzt, weil die Hersteller davon überzeugt sind, dass EC deutlich weniger Zeit und Backend-Operationen bei der Rekonstruktion von Informationen in Anspruch nimmt. Allerdings kann EC auch wesentlich mehr der zentralen CPU-Zeit belegen, da in diesem Falle ja kein dedizierter RAID-Prozessor mehr vorhanden ist – was dann wiederum in längeren Liefer- und Schreibzeiten mündet.

Anzeige

EC nutzt hierfür eine mathematische Funktion, um eine Reihe von Ziffern zu erzeugen, die sich mit Hilfe sogenannter polynomer Interpolation auf Korrektheit prüfen und im Falle des Verlustes einzelner Ziffern wieder vervollständigen lassen. Eine einfache Darstellung dieser Funktion ist f = a + b, wobei a die ursprüngliche Menge von Informationen und b die Anzahl von redundant hinzugefügten Daten ist. f ergibt dann die tatsächlich zu speichernde Anzahl an Informationen. Als Beispiel: in einer EC 16/24-Konfiguration werden acht zusätzliche Ziffern zu den ursprünglichen 16 hinzugefügt. Die gesamten 24 Ziffern werden an 24 unterschiedlichen Orten im Array, idealerweise auf 24 unterschiedlichen Laufwerken, abgelegt. Die Originaldaten lassen sich nun jederzeit aus nur 16 der 24 gespeicherten Fragmente rekonstruieren. Das heißt, theoretisch könnten in diesem Array bis zu acht Laufwerke ausfallen, ohne dass es zu Datenverlust kommt.

Der große Vorteil von EC ist weiterhin, dass Daten redundant und wiederherstellbar auch über Gerätegrenzen hinaus geschrieben werden können. Dazu muss man sich nur vorher auf einen generellen Algorithmus einigen. Damit ermöglicht EC den Aufbau von beispielsweise Cloud- oder Archivspeichern auf Basis von Standard- oder unterschiedlicher Hardware unter Beibehaltung der von RAID her gewohnten Redundanzen bzw. logischen Schutzmechanismen.

Gruß
Doc Storage

Stellen Sie Ihre Frage
Doc. tec. Storage beantwortet alle Ihre technischen Fragen zu Storage, Backup & Co.

Stellen Sie Ihre Frage an: DocStorage@speicherguide.de

Mehr von Doc. tec. Storage 28.08.2020 Kommt mit QLC-Flash das Ende hybrider Speichersysteme?

Die ersten Arrays mit QLC-Flash-Technologie kommen auf den Markt. Einige Hersteller prophezeien durchaus vollmundig das Ende von hybriden Speichersystemen, also solchen mit Flash und Festplatten. Ist dieses Ende tatsächlich absehbar oder wie sieht die Zukunft in diesem Bereich aus?


21.08.2020 Mehr in die Zukunft agieren, weniger jammern

Jammern ist gerade irgendwie in Mode. Der Virus, der Markt, die Geschäfte – natürlich ist es aktuell schwierig. Für die Kunden gestaltet sich vieles aber positiv, braucht es doch weniger Manpower, um Produkte und Lösungen in Betrieb zu nehmen. Das macht sich im Geldbeutel bemerkbar. IT-Anbieter müssen künftig nicht nur in Studien in die Zukunft schauen, sondern sich generell schneller anpassen und auf neue Gegebenheiten reagieren.


07.08.2020 Marktstudien: Ergebnisse meist zu offensichtlich

Marktstudien belegen in der Regel bekannte Trends, mehr nicht. Wirkliche Erkenntnisse oder Neues fördern sie, laut Doc Storage, nicht zu Tage. Dies belegt er anhand zweier aktueller Beispiele: Die Analysekriterien sind schwammig, die Argumente eher fadenscheinig und die Resultate offensichtlich. Zudem sei fragwürdig, in wie weit Sponsoren die Ergebnisse beeinflussen.


31.07.2020 Business-Continuity: Zu viele Firmen unvorbereitet auf K-Fall

Jüngste Studien sprechen von einem steigenden Bewusstsein in Sachen Business-Continuity. Doc Storage kann den Zahlen allerdings wenig positives abgewinnen, denn noch nicht mal zwei Drittel aller Unternehmen besitzen einen Business-Continuity-Plan und fast die Hälfte verfügt über keine fest definierte Rückkehrmaßnahmen. Aus seiner Sicht ist es erschreckend, wie viele Firmen und IT-Abteilungen nicht auf einen Katastrophenfall vorbereitet sind.


24.07.2020 Ist Archiving-to-the-Cloud heute bereits sinnvoll?

Unsere Archivierungs-Hardware bedarf der Erneuerung. Bislang setzten wir auf LTO-6-basierende Tape-Librarys. LTO-7 haben wir bisher übersprungen. Nun stünde LTO-8 an. Aber es gäbe auch Archiving-to-the-Cloud. Macht es Sinn, sich damit ernsthaft zu befassen oder raten Sie weiterhin On-Premises?


17.07.2020 EU/US-Privacy-Shield: Datenaustausch nicht mehr rechtens

Das EuGH erklärt das EU/US-Privacy-Shield für unwirksam. Damit ist die Hauptgrundlage für Datentransfers zwischen der EU und den USA nicht mehr gültig. Für unseren Doc Storage ist dies keine Überraschung, weil jeder klardenkende EU-Bürger wusste, dass die US-Behörden am Schutz unserer Daten nicht wirklich interessiert waren. Lesen Sie hier seine generelle Einschätzung zur Thematik.

powered by
N-TEC GmbH FAST LTA
Cloudian Fujitsu Technology Solutions GmbH
Infortrend Zadara
Folgen Sie speicherguide.de auch auf unseren Social-Media-Kanälen
Folgen Sie und auf Facebook Folgen Sie und auf YouTube Folgen Sie und auf Twitter