12.04.2019 (Doc Storage)
3.4 von 5, (7 Bewertungen)

Dateisysteme für den PByte-Bereich

Leserfrage: Die eingeführten Dateisysteme scheinen alle in die Jahre gekommen zu sein. Datenberge jenseits des PByte-Bereichs, Cloud-Anbindungen und Analytics-Szenarien stellen Filesysteme vor neue Herausforderungen. Verschiedene Hersteller »basteln« an diversen Dateisystemen, siehe GPFS, Gluster FS, OneFS oder QF2 von Neuling Qumulo. Wie sieht der Doc hier die Zukunft? Worauf sollten IT-Abteilungen achten bzw. vertrauen?

Antwort Doc Storage:

Zunächst einmal muss man sich einen Überblick über die Eigenschaften der genannten Dateisysteme und die dadurch vorhandenen Möglichkeiten verschaffen:

IBM General Parallel File System (GPFS), seit 2015 Spectrum Scale: Wie viele andere Objekte auch entsprang GPFS mehreren Forschungstätigkeiten des blauen Riesen. Es war während seiner Entwicklung unter mehreren Namen bekannt, unter anderen als »Vesta« oder »Tiger Shark«. GPFS tauchte bereits Ende der 90er Jahre als offizielles IBM-Produkt auf und sollte damals »PIOFS« (das vormalige Vesta) ablösen. Im Laufe der Jahre wurden Versionen für das IBM-eigene AIX, Linux und zehn Jahre später schließlich für Windows vorgestellt.

GPFS wird vor allem als Dateisystem in High-Performance-Clustern eingesetzt. Seine hauptsächlichen Eigenschaften umfassen die Trennung von Metadaten und Daten auf unterschiedliche Datenträger, die Unterstützung von Shared-Nothing-Umgebungen, die Konfiguration von Speicherknoten als hochverfügbare Cluster, eingebautes HSM (hierarchisches Speichermanagement), Erreichbarkeit von Snapshots über jedes exportierte Verzeichnis und die Möglichkeit der Replikation zwischen verschiedenen Volumen. Die maximale Dateigröße beträgt 8 EByte, die gesamte Dateisystemgröße 8 YByte. Geschrieben werden können bis zu 2^64 Dateien pro Dateisystem. Die Zugriffsrechte können je nach angeschlossenem System über NFS oder ALCs gesteuert werden, für die Freigabe stehen NFS, Hadoop oder CIFS zur Auswahl.

GlusterFS: Das freie OpenSource-Projekt GlusterFS hat ein mit sehr vielen Eigenschaften ausgestattetes, allerdings lediglich für Linux, BSD, OpenSolaris und MacOS verfügbares System veröffentlicht. Ich schreibe hier absichtlich nicht »Dateisystem«, da es sich im Ende um wesentlich mehr als nur das handelt. 2015 wurde es von Red Hat gekauft.

Windows-Systeme sollen Unterstützung finden, sobald die hierfür vorgesehene Software stabil ist. GlusterFS kann entweder allein, mit verteilten Speichern, mit replizierten Speichern oder mit hieraus kombinierten Eigenschaften installiert werden. Einzelne Systeme lassen sich entweder über TCP/IP oder Infiniband koppeln, es gibt keine offizielle Angabe zur Beschränkung von Datei- oder Dateisystemgrößen oder die maximale Anzahl von einzelnen Einträgen.

Isilon OneFS: OneFS ist ein paralleles verteiltes Netzwerkdateisystem, welches für die Scale-Out-Plattform von Isilon entwickelt wurde. Es läuft ausschließlich unter OneFS OS, einer FreeBSD-Variante. Als solches unterstützt es ein Clustering über TCP/IP oder – bei neueren Versionen – auch über Infiniband. Für die Erreichbarkeit von außen stehen NFS, CIFS, FTP, http und HDFS zur Auswahl. Als Speichersystem-Plattform unterstützt OneFS fast schon natürlich Snapshots, Clustering, Hochverfügbarkeit und andere hier als Standard eingeführte Funktionen.

Als maximale Größen gibt Isilon 66 PByte für die Volumen und 4 TByte für einzelne Dateien an. Zum Schutz der Dateien können entweder POSIX oder ACLs genutzt werden.

Qumulo File Fabric 2 (QF2): Die von Isilon-Veteranen gegründete Firma ist kaum mehr als zwei Jahre alt und bietet mit seinem QF2-Dateisystem ein durchaus konkurrenzfähiges System an. Es kann, im Gegensatz zu vielen anderen Konkurrenten, auf beliebiger Hardware installiert und betrieben werden. Die Datenbank zum Auffinden der Einträge ist im Gegensatz zu den anderen Produkten vollständig in das Dateisystem integriert und soll damit laut Hersteller wesentlich schneller von Statten gehen. Snapshots sind ebenso Standard wie die Einrichtung von Echtzeit-Quotas oder die Bildung von Clustern über geografisch verteilte Strukturen. Nicht ohne Grund zählen vor allem Studios für animierte Filme zu den ersten Kunden von Qumulo. Auch dieser Hersteller gibt die Skalierbarkeit von QF2 nur sehr vage mit »einigen Milliarden Dateien« an.

Kein Risiko beim Speicherdateisystem

Und nun zur eigentlichen Frage – wie sehe ich die Zukunft, worauf sollen die IT-Abteilungen vertrauen? Die Zukunft sehe ich, man mag nun »leider« oder »Gott sei Dank« sagen, in der Lösung vom Hersteller mit dem längsten Atem. Und diesen Atem hat, und das ist keine Wertung, der Verein mit den drei Buchstaben aus Armonk. Dies eine Mal muss ich hinzufügen, dass neben den 108 Jahren Gesamterfahrung bei GPFS nunmehr über 20 Jahre Erfahrung mit der Entwicklung dieses Systems dazukommen.

Man mag die Jungs mögen oder nicht, aber alle anderen haben in irgendeiner Ecke Defizite. GlusterFS läuft nur auf X-Kisten (jaja, ich weiß, momentan, aber das wird sich ändern). OneFS gehört Isilon und damit Dell EMC, das heißt, es ist nur eines von mehreren zugegeben sehr guten Speicherdateisystemen dieses Herstellers. Und wie schnell sowas sterben kann, haben wir ja schon öfter gesehen. Außerdem wird Dell EMC kaum dazu übergehen, die Milch ihrer Cash-Cows einzeln zu verkaufen. Heißt – bei OneFS muss ich im Ende die Hardware immer mitkaufen.

Und QF2 ist einfach zu jung, als dass man es als RZ-Leiter in eine strategische Auswahl ziehen könnte. Es kann nur allzu schnell passieren, und einer der großen blauen oder roten hat sich dieses Herstellers bemächtigt. Sorry, ich weiß, ich schreibe wieder einmal wider die Freiheit, aber wenn ich Geld setzen sollte, dann hier auf IBM und sein GPFS.

Gruß
Doc Storage

Stellen Sie Ihre Frage
Doc. tec. Storage beantwortet alle Ihre technischen Fragen zu Storage, Backup & Co.

Stellen Sie Ihre Frage an: DocStorage@speicherguide.de
Kommentare (2)
12.04.2019 - Godwin

müsste man da nicht auch Ceph dazurechnen?

12.04.2019 - jan

Lieber Doc,
das ZettaFileSystem ZFS ist sein 14 Jahren da. Super stabil, super administrierbar und läuft auf BSD, Solaris, Linux (ZoL).
Es wird in kritischen Bereichen massiv eingesetzt. Das hier zu unterschlagen -, weil es nicht auf wackeligem Unterbau aus Redmond läuft - halte ich für gewagt.