13.01.2017 (Doc Storage)
3.8 von 5, (5 Bewertungen)

Eignen sich Hadoop & In-Memory als Storage-Struktur für IoT?

  • Inhalt dieses Artikels
  • Hadoop ist leistungsfähig mit breitem Software-Support
  • In-Memory verarbeitet Prozesse direkt im Hauptspeicher

Leserfrage: Als Storage-Struktur für IoT (Internet of Things) propagieren viele Anbieter Objekt-basierten Speicher. Aber ist dies wirklich die einzige Option? Wie steht es um Lösungen wie Hadoop oder In-Memory? Wo liegen die einzelnen Vor- und Nachteile?

Antwort Doc Storage:

Über objektorientierten Speicher haben wir in den letzten Monaten einiges geschrieben und die Vor- und Nachteile gründlich beleuchtet. Hier also noch einmal meine Sicht auf die beiden von Ihnen daneben angefragten Speichermöglichkeiten, Hadoop und In-Memory.

Hadoop ist leistungsfähig mit breitem Software-Support

Hadoop basiert auf Java, ist in Open-Source-Umgebungen beheimatet und gehört seit 2008 zur Apache Software Foundation. Es handelt sich hier nicht nur um eine Speicherlösung, sondern um ein Framework, welches verteilte und skalierbare Systeme unterstützen soll. Erste Implementierungen stammen von Google, welches Hadoop vor allem für den Betrieb seiner Indizierungs- und Suchmaschinen einsetzt. Das HDFS (Hadoop Distributed File System) ist hochverfügbar ausgelegt, indem es Informationen in einzelne Blöcke zerlegt und diese rendundant auf die am Framework teilnehmenden Rechner speichert.

Die Speicherumgebung besteht aus übergeordneten (Name-)Knoten, die für die Abarbeitung der eingehenden Lese- und Schreibanfragen sowie die Erzeugung der benötigten Metadaten zuständig sind, und Speicher-(Slave-)Knoten, welche für die eigentliche Datenablage sorgen. HDFS ist hoch skalierbar und unterstützt viele hundert Millionen einzelne Dateien. Dabei hat es sich gezeigt, dass Hadoop immer effizienter arbeitet, je größer die gespeicherten Dateien sind. Innerhalb des Hadoop-Frameworks können nach Bedarf auch andere Dateisysteme eingesetzt werden, allerdings sollten diese im Einzelfall auf die Eignung im Zusammenspiel mit den dort installierten Anwendungen getestet werden. Als Dateiformate können je nach Anwendung strukturierte und unstrukturierte Daten gespeichert werden. Für die Entwicklung eigener Formate stehen vielfältige Werkzeuge zur Verfügung.

Der Vorteil von Hadoop-Umgebungen liegt in der kostengünstigen und breit unterstützten Software-Basis (u.a. IBM, EMC, SAP, Google, Microsoft, Teradata) sowie in je nach Hardware-Ausstattung sehr leistungsfähigen Abarbeitung vor allem großer Dateien. Nachteil ist, dass der Benutzer Hadoop zunächst genau an seine Bedürfnisse anpassen muss, dafür eine tiefe Kenntnis der jeweiligen Software-Bestandteile benötigt und das gesamte System auf Open-Source-Umgebungen basiert, für deren Betrieb ebenfalls entsprechende Erfahrungen notwendig sind.

In-Memory verarbeitet Prozesse direkt im Hauptspeicher

In-Memory-Systeme machen vor allem bei der schnellen Verarbeitung größter Datenmengen Sinn, beispielsweise im Datenbankumfeld oder bei Big Data. Wegen der sinkenden Preise für Hauptspeicher macht dies Konzept immer mehr Sinn, da sich Rechner mit immer größeren direkt vom Prozessor ansprechbaren Volumina ausrüsten lassen. Betrachtet man sich größere Lösungen wie beispielsweise SAP Hana oder Terracotta der Software AG, gewinnen diese mit zunehmend niedrigeren Preisen der Hardware immer mehr an Bedeutung. Das Prinzip ist bei allen In-Memory-Systemen gleich. Größere Datenmengen, vor allem im Datenbankumfeld, werden direkt in den Hauptspeicher geladen, dort verarbeitet und entsprechend modifiziert wieder in den Massenspeicher zurückgeschrieben.

Die Gesamt-Verarbeitungszeit liegt hierbei wesentlich unter der, welche für den bisherigen Betrieb direkt an Festplattensystemen benötigt wurde. Der Nachteil liegt in der mächtigen Ausrüstung der benötigten Systeme vor allem im Bereich des Arbeitsspeichers, somit im Kostenbereich. Allerdings gehen die Anschaffungswiderstände für Hauptspeicher immer weiter zurück. Ein weiterer Nachteil ist, dass In-Memory-Systeme im heutigen Markt noch sehr proprietär und vor allem auf Datenbank- und transaktionale Umfelder beschränkt sind.

Gruß
Doc Storage


Stellen Sie Ihre Frage
Doc. tec. Storage beantwortet alle Ihre technischen Fragen zu Storage, Backup & Co.

Stellen Sie Ihre Frage an: DocStorage@speicherguide.de

Mehr von Doc. tec. Storage 07.08.2020 Marktstudien: Ergebnisse meist zu offensichtlich

Marktstudien belegen in der Regel bekannte Trends, mehr nicht. Wirkliche Erkenntnisse oder Neues fördern sie, laut Doc Storage, nicht zu Tage. Dies belegt er anhand zweier aktueller Beispiele: Die Analysekriterien sind schwammig, die Argumente eher fadenscheinig und die Resultate offensichtlich. Zudem sei fragwürdig, in wie weit Sponsoren die Ergebnisse beeinflussen.


31.07.2020 Business-Continuity: Zu viele Firmen unvorbereitet auf K-Fall

Jüngste Studien sprechen von einem steigenden Bewusstsein in Sachen Business-Continuity. Doc Storage kann den Zahlen allerdings wenig positives abgewinnen, denn noch nicht mal zwei Drittel aller Unternehmen besitzen einen Business-Continuity-Plan und fast die Hälfte verfügt über keine fest definierte Rückkehrmaßnahmen. Aus seiner Sicht ist es erschreckend, wie viele Firmen und IT-Abteilungen nicht auf einen Katastrophenfall vorbereitet sind.


24.07.2020 Ist Archiving-to-the-Cloud heute bereits sinnvoll?

Unsere Archivierungs-Hardware bedarf der Erneuerung. Bislang setzten wir auf LTO-6-basierende Tape-Librarys. LTO-7 haben wir bisher übersprungen. Nun stünde LTO-8 an. Aber es gäbe auch Archiving-to-the-Cloud. Macht es Sinn, sich damit ernsthaft zu befassen oder raten Sie weiterhin On-Premises?


17.07.2020 EU/US-Privacy-Shield: Datenaustausch nicht mehr rechtens

Das EuGH erklärt das EU/US-Privacy-Shield für unwirksam. Damit ist die Hauptgrundlage für Datentransfers zwischen der EU und den USA nicht mehr gültig. Für unseren Doc Storage ist dies keine Überraschung, weil jeder klardenkende EU-Bürger wusste, dass die US-Behörden am Schutz unserer Daten nicht wirklich interessiert waren. Lesen Sie hier seine generelle Einschätzung zur Thematik.


10.07.2020 Genderkorrekte IT-Sprache – muss das sein?

Haben Sie sich schon mal Gedanken gemacht, ob unsere IT-Begriffe politisch- bzw. genderkorrekt sind? Gleichstellungsbeauftragte fordern eine neue IT-Sprache, Dummys, Black- und Whitelist oder Master/Slave seien nicht mehr zeitgemäß. Unser Doc ist da eher »Old School«…


03.07.2020 Problem: SSDs mit Trim-Funktion in Disk-Arrays

In einem Synology-RAID macht der Trim-Befehl der eingesetzten SSDs das System nach einer Zeit, unbenutzbar langsam. Abhilfe schafft eine Neuinstallation. Woran liegt das und könnte dies auch mit Enterprise-SSDs in größeren Arrays auftreten?

powered by
Zadara Pure Storage Germany GmbH
Infortrend Fujitsu Technology Solutions GmbH
FAST LTA N-TEC GmbH
Folgen Sie speicherguide.de auch auf unseren Social-Media-Kanälen
Folgen Sie und auf Facebook Folgen Sie und auf YouTube Folgen Sie und auf Twitter