25.07.2014 (Doc Storage)
4 von 5, (4 Bewertungen)

Deduplizierung mit starren vs. variablen Blöcken

Leserfrage: Quantum hat anscheinend die Daten-Deduplizierung verbessert. Die neueste Appliance verspricht durch die Nutzung variabler Blöcke statt starrer 6k-Block-Deduplizierung eine dreimal bessere Ausnutzung der Speicher-Ressourcen. Wie genau darf man sich den Unterschied zwischen starren und varbiablen Blöcken vorstellen? Gibt es neben den genannten Vorteilen auch Nachteile und ist dies nun ein Weg, den künftig alle gehen?

Antwort Doc Storage:

Naturgemäß erzielt eine Deduplizierung mit variabler Blockung deutlich bessere Ergebnisse, da sich die Suche nach redundanten Abschnitten in den zu speichernden Daten wesentlich besser an diese anpassen lässt. Die Steigerung der Reduzierung auf bis zu 90 Prozent halte ich zwar für sehr optimistisch, allerdings dürfte eine deutliche Verbesserung gegenüber den im Artikel angegebenen 73 Prozent möglich sein.

Aber – keine Verbesserung ohne entsprechenden Aufwand. Bei der Anwendung variabler Blockgrößen ist der Controller mit wesentlich höherem Rechen- und Überprüfungsaufwand beschäftigt als bei der relativ trivialen Methode mit festen Blöcken. Im schlimmsten Falle könnte dies negative Auswirkungen auf die Gesamtleistung des Systems haben. Da es sich beim betrachteten Gerät allerdings um eine Appliance für Backup-to-Disk handelt, dürfte der Leistungsverlust für den Nutzer vergleichsweise unwichtiger als die mehr als doppelt so gute Nutzung des Speicherplatzes sein.

Mit zunehmender Leistung der verwendeten Prozessoren und immer größer werdenden Datenbeständen dürften alle einschlägigen Hersteller in Zukunft versuchen, den Weg der variablen Blockgrößen zu gehen. Da dieses Verfahren allerdings wesentlich leistungsfähigere Analyseverfahren im Betriebssystem erfordert, werden vor allem die großen Hersteller mit entsprechend gut ausgestatteten Entwicklungsabteilungen die Vorreiter sein.

Gruß
Doc Storage

Stellen Sie Ihre Frage
Doc. tec. Storage beantwortet alle Ihre technischen Fragen zu Storage, Backup & Co.

Stellen Sie Ihre Frage an: DocStorage@speicherguide.de
Kommentare (1)
27.07.2014 - Bombastus

Und wo liegt nun der funktionale Unterschied?
Gruß
DeLi


Mehr von Doc. tec. Storage 12.04.2019 Dateisysteme für den PByte-Bereich

Datenberge jenseits des PByte-Bereichs, Cloud-Anbindungen und Analytics-Szenarien stellen Dateiysteme vor neue Herausforderungen. Der Markt bietet einige Optionen wie GPFS, Gluster FS, OneFS oder QF2. Worauf gilt es zu achten?


05.04.2019 Neuordnung des Storage-Tiering

Nachdem sich Flash und SSDs mittlerweile auch in mehrere Leistungsklassen unterteilen, steht die Technik nicht mehr nur für Tier 0. 15k-HDDs scheinen vor dem Aus zu stehen. Gilt dies auch für alle SAS-Platten? Wie sieht die Neuordnung des Storage-Tiering aktuell aus?


15.03.2019 30 Jahre World Wide Web: Was gibt es zu feiern?

Das World Wide Web feiert seinen 30. Geburtstag. Ohne dem Internet ist unser heutiges Leben nicht mehr vorstellbar. Für Doc Storage hat das Netz aber auch genug Schattenseiten. An Regulierungen bzw. an das vom Erfinder erhoffte bessere Internet, glaubt er nicht.


08.03.2019 Datenanordnung im RAID 10 mit 8 Platten

In einem Server wird ein RAID 10 mit acht Festplatten unter Windows 2008 R2 betrieben. Nun ist ein Laufwerk ausgefallen. Da sich nur wenige Daten auf den HDDs befinden, besteht die Möglichkeit, dass die defekte Platte eventuell gar keine Daten enthält?


22.02.2019 Welcher RAID-Level für welche Anwendung?

Gibt es eigentliche eine Faustregel, welches RAID-Level für welche Anwendung am besten geeignet ist? Ich denke da zum Beispiel an Datenbanken mit sehr vielen Zugriffen bei relativ kleinen Datenmengen oder an Webserver und als Extrem auf der anderen Seite Bild-Datenbanken, Audio-Server beim Rundfunk, Video-Archive mit sehr hohen Datenvolumen.


15.02.2019 Was sagt DWPD über SSDs aus?

Im Zusammenhang mit (Enterprise-)SSDs wird oft die Qualitätsgröße DWPD (Drive Writes Per Day) genutzt. Meist wird die Angabe auch für einen Zeitraum von fünf Jahren spezifiziert. Was sagt DWPD genau aus und mit welcher Standard-Lebensdauer darf man rechnen?

powered by
Boston Server & Storage Solutions Datacore Software
Fujitsu Technology Solutions GmbH Seagate Technology
N-TEC GmbH FAST LTA AG