Leserfrage: Wer seine Speichersysteme besser ausnutzen will, kann Reduktionstechniken einsetzen. Deduplizierung hat sich etabliert und ist bekannt. Nun gehen aber zahlreiche Unternehmen mit Kompression oder Intelligent Data Replacement hausieren. Gibt es hier Unterschiede und wenn ja, wo liegen diese?

Antwort Doc Storage:

Der grundsätzliche Unterschied zwischen Deduplizierung und Kompression liegt in der Art und der Anwendung der zur Reduktion genutzten Algorithmen. Deduplizierung sucht ganze Dateien oder Dateifragmente, vergleicht mit bisher abgespeicherten Daten und ersetzt diese bei Übereinstimmung durch einen Verweis auf die bereits abgelegten Daten. Beim Lesen werden dann direkt die erstmalig gespeicherten Dateien oder Fragmente gelesen. Die Algorithmen, die bei Kompression zur Anwendung kommen, ersetzen die am meisten vorkommenden Zeichenketten innerhalb einer Datei durch den kürzesten Platzhalter, die am zweitmeisten vorkommenden durch den zweitkürzesten Platzhalter. Dies geschieht allerdings individuell für jede Datei, so dass beim Öffnen bereits komprimierter Datensätze diese vorher wieder hergestellt werden müssen.

Die Platzspar-Effekte beider Methoden nehmen sich nicht viel, jedoch ist die Deduplizierung im Umfeld mit häufigen Lesezugriffen auf die reduzierten Dateien größtenteils schneller, da hierbei vor dem Lesen keine Dateien ausgepackt werden müssen. Der Einsatz großer CPU-Power vor allem in Enterprise-Speichersystemen verringert diesen Effekt allerdings zusehend.

Lassen Sie mich allerdings eine Debatte provozieren. Der Anwender sollte sich vor dem Einsatz von Deduplizierung oder Kompression eine Frage stellen: Lohnt es sich heute wirklich noch, den horrenden Aufpreis für diese Systeme zu investieren, um die billigste Ressource im Speichersystem, nämlich die High-Capacity-Festplatte, zu schonen? Im Zeitalter von 2- oder gar 3-TByte-Laufwerken für unter 200 Euro kann diese Frage getrost verneint werden. Schon zumal dann der bremsende Effekt der Anwendung der entsprechenden Algorithmen wegfällt. Deduplizierung und Kompression lohnt sich wirklich nur dort, wo viele Daten über entsprechend dünne Leitungen von Geschäftsstellen oder anderen entfernten Installationen eingeholt werden müssen. Den Platz im zentralen Rechenzentrum hingegen wird man zunehmend hinterfragen müssen.

Gruß
Doc Storage