Mit Version 4 seines parallelen Dateisystems adressiert Quobyte gezielt die Anforderungen datenintensiver KI-Workloads. Die neue Version bringt unter anderem Cloud-Tiering, aktualisierte ARM-Unterstützung, End-to-End-Transparenz, optimierte NVMe-Leistung sowie S3-Integration mit Dateisystemfunktionen.

Quobyte veröffentlicht die neueste Version seiner Parallel-Dateisystem-Software, Quobyte v4. Die neue Version adressiert insbesondere Anforderungen aus dem KI-Umfeld und erweitert die Plattform um Funktionen wie Cloud-Tiering, verbesserte ARM-Unterstützung, erweiterte Protokollintegration und vollständige Beobachtbarkeit des Datenpfads.

Bereits 2018/19 hatte Quobyte seine Client- und Server-Software auf Arm portiert. Nachdem sich der Markt zwischendurch auf AMDs EPYC-CPUs zugewandt hatte, sieht Quobyte-CEO Bjorn Kolbeck mit dem Aufkommen von Plattformen wie Apple Silicon, AWS Graviton oder Ampere neue Relevanz: »Wir unterstützen sowohl Arm- als auch x86-basierte Systeme – beliebig kombinierbar, vollständig transparent.«

Anzeige

Neue Funktionen von Quobyte v4

Ein zentraler Bestandteil von Quobyte v4 ist das überarbeitete Cloud-Tiering. Es ermöglicht die Anbindung an externe Objektspeicher wie Amazon S3 oder Microsoft Azure Blob Storage. Damit lassen sich große Datenmengen kosteneffizient auslagern – ein beachtenswerter Aspekt, da Trainingsdaten in KI-Projekten oft mehrere PByte umfassen. Ergänzend dazu wurde die Funktion »Copy-in/out« eingeführt. Sie erlaubt es, Daten aus Objektspeichern temporär in ein performantes Dateisystem zu überführen, etwa für den Trainingsprozess, und anschließend wieder zurückzuspielen. Diese bidirektionale Nutzung wurde auf Kundenwunsch hin entwickelt und soll den Umgang mit hybriden Infrastrukturen erleichtern.

Trotz des Fokus auf KI verzichtet Quobyte bewusst auf eine Integration von NVIDIAs GPUDirect-Technologie. Der Hersteller sieht darin keinen entscheidenden Vorteil, da es bei KI-Workloads weniger auf niedrige Latenz als vielmehr auf gleichmäßigen Datendurchsatz ankommt. Technologien wie RDMA seien für diesen Anwendungsbereich deutlich relevanter.

Ein weiterer Schwerpunkt der neuen Version ist die Einführung einer vollständigen End-to-End-Transparenz. Die sogenannte Observability-Funktion wurde in enger Zusammenarbeit mit Kunden großer Infrastrukturen entwickelt. Sie verfolgt Datenzugriffe vom Anwendungslayer über das Netzwerk bis hin zur Speicherschicht. So können Administratoren erkennen, ob Performanceprobleme durch die Infrastruktur oder durch die Applikation selbst verursacht werden. Ziel ist es, frühzeitig zu reagieren, statt auf Nutzermeldungen angewiesen zu sein – ein entscheidender Vorteil in Umgebungen mit kritischen Datenverarbeitungsprozessen.

Auch die Leistung in Verbindung mit NVMe-SSDs wurde optimiert. In Kombination mit neuen Server-Prozessoren wie AMD EPYC Gen5 konnte, Herstellerangaben zufolge, der Datendurchsatz je nach Konfiguration um bis zu 50 Prozent gesteigert werden. Für höhere Ausfallsicherheit und Verfügbarkeit integriert Quobyte zudem einen eigenen DNS-Server, der die Konfiguration von Lastverteilung und Hochverfügbarkeit vereinfacht – insbesondere für Protokolle wie NFS oder S3.

Ergänzt werden die Funktionen durch eine eigene S3-kompatible Schnittstelle, das tief in das Dateisystem eingebunden ist. Funktionen wie Versionierung oder Objekt-Locking werden dort als Dateieigenschaften abgebildet und lassen sich direkt über das Dateisystem verwalten.

Die Plattform ist zudem vollständig mandantenfähig. Benutzer und Administratoren können über die Weboberfläche oder das CLI eigene Volumes erstellen, Zugriffsschlüssel verwalten oder Abfragen durchführen. Quobyte versteht sich in dieser Hinsicht als Infrastruktur, die Unternehmen ermöglicht, eigene Speicher-Ressourcen wie einen Cloud-Dienst bereitzustellen.

Keine Ausrichtung auf HPC-Spezialmärkte

Kolbeck macht zudem deutlich, dass Quobyte sich bewusst nicht auf klassische HPC-Spezialmärkte wie DAOS oder Lustre fokussiert. Diese seien in ihrer technischen Komplexität und ihren Anforderungen an die Infrastruktur nur für einen kleinen Kreis hochspezialisierter Einrichtungen geeignet. Stattdessen ziele man auf skalierbare, breit einsetzbare Systeme für moderne Datenverarbeitung – insbesondere dort, wo viele GPUs in großen Clustern verlässlich mit Daten versorgt werden müssen.

Entscheidend sei Kolbeck zufolge, nicht allein die maximale Geschwindigkeit, sondern die kontinuierliche Verfügbarkeit und Skalierbarkeit – vor allem angesichts der hohen Investitions- und Betriebskosten moderner KI-Infrastrukturen.

Kolbeck sieht in klassischen HPC-Systemen wie DAOS oder Lustre keine Zielmärkte für Quobyte: »Diese Lösungen adressieren eine Nische mit sehr hohen Infrastrukturkosten.« Für moderne KI-Workloads zähle hingegen vor allem Skalierbarkeit, Verfügbarkeit und kontinuierlicher Durchsatz: »Niemand interessiert sich mehr für die niedrigste Latenz, sondern für zuverlässigen Datenfluss über Tausende GPUs hinweg.«

Quobyte v4 ist ab sofort verfügbar und soll sich bereits im produktiven Einsatz befinden. Das Upgrade von Version 3 erfolgt laut Anbieter unterbrechungsfrei.

Zusammenfassung

• Quobyte v4 bietet cloud-basiertes Objektspeichern und Unterstützung für Arm-Architekturen.
• Neue End-to-End-Überwachungsmöglichkeiten soll die Sichtbarkeit und Kontrolle über den File-System-Betrieb erhöhen.
• Statt auf HPC-Nischenlösungen wie GPUDirect zu setzen, fokussiert sich Quobyte auf skalierbare Speicherumgebungen mit hoher Verfügbarkeit und konstantem Datendurchsatz.