Leserfrage: Es gibt doch diese Linux-Clustering-Technologie »Lustre«. Laut etlichen Meldungen hier auf speicherguide.de scheint es im High-Performance-Computing-Umfeld (HPC) immer öfters eingesetzt zu werden. Früher setzte HP ziemlich stark darauf, neuerdings anscheinend Netapp. Was ist das Besondere an Lustre? Und wie stark wird es tatsächlich eingesetzt? In unserer Firma planen wir zum ersten Mal ein rechenintensives Forschungsprogramm. Ist Lustre so zukunftssicher, dass es für uns Sinn macht, sich näher damit zu befassen?

Antwort Doc Storage:

Lustre wird nach eigenen Angaben (also nach denen des Lustre-Startups Whamcloud) auf über der Hälfte der 50 größten HPC-Installationen eingesetzt. Damit dürfte es dort das am weitesten verbreitete Dateisystem sein.

Seine Wurzeln reichen zwölf Jahre zurück und liegen bei der Carnegie Mellon Universität. Der Aufkauf durch Sun startete eine Release-Odyssee, die nach der Übernahme durch Oracle jäh gestoppt wurde. Lustre 1.8 wurde auf einen Maintenance-Only Status gesetzt, also zwar unterstützt, aber nicht mehr durch das Unternehmen weiterentwickelt. Diese Aufgabe hat nun eine Gruppe kleinerer Firmen übernommen, die an Lustre 2.0 auf Basis der GPL arbeiten.

Das besondere an Lustre ist die objektorientierte Ausrichtung des Dateisystems. Hierbei speichert ein Metadaten-Server (MDS) unter anderem das Dateilayout, die Datei- und Verzeichnisnamen, Zugriffsrechte und andere Metadaten. Ein oder mehrere Objektspeicher-Server (OSS) übernehmen die Ablage der eigentlichen Dateien auf Objektspeicher-Targets (OST). Die Größe des Lustre-Dateisystems hängt von der gemeinsamen Größe aller OSTs ab. Den zugreifenden Klienten ermöglicht Lustre gemeinsamen lesenden und schreibenden Zugriff auf die Dateien im globalen Namensraum. Durch bestimmte Techniken skaliert die Bandbreite zwischen Klienten und Objektspeicher-Targets nahezu linear mit jedem hinzugefügten OST im Dateisystem.

Die kommerzielle Unterstützung von Lustre findet momentan unter anderem durch Bull, Cray, Dell, Hewlett-Packard und Silicon Graphics statt. Somit macht es auf jeden Fall Sinn, sich mit diesem Dateisystem zu befassen, wenn man sich im HPC-Umfeld bewegt.

Vorauszusagen ob eine Technologie zukunftssicher ist, habe ich mir in der Datenverarbeitung abgewöhnt. Zu oft hängt diese Entwicklung nicht von der Güte des Produktes und der Anzahl der Unterstützer, sondern von anderen, weniger fachlichen Faktoren ab. Aber ich denke, dass wir Lustre auch in fernerer Zukunft noch im Markt sehen werden.

Gruß
Doc Storage

Kommentar schreiben