Netapp Novus trennt Metadaten und Datenpfad für KI-Fabriken
Für große KI-Fabriken soll Netapp Novus die Datenversorgung verbessern. Die Storage-Architektur trennt Metadaten vom Datenpfad, damit Bandbreite, Kapazität und parallele Zugriffe unabhängig wachsen können. Zunächst kombiniert sie Supermicro-Server mit AFF-A90-Systemen. Omdia prognostiziert bis zu 100 TByte/s sequenziellen Lesedurchsatz.
Warten GPUs auf Daten, bleibt teure Rechenleistung ungenutzt. NetApp will diesen Storage-Engpass mit Novus verringern. Die neue Architektur richtet sich an Neoclouds und GPU-as-a-Service-Anbieter, die große KI-Rechenzentren betreiben und ihre Infrastruktur mehreren Kunden bereitstellen. Nach Herstellerangaben kann die GPU-Auslastung bei herkömmlichen Architekturen unter 30 Prozent fallen, wenn der Speicher nicht genügend Daten liefert.
Novus soll Leistung, Kapazität und die Zahl gleichzeitiger Zugriffe unabhängig voneinander skalieren. Dafür trennt die Architektur die Metadaten-Verwaltung vom Datenpfad. Milliarden von Dateien und große KI-Datensätze sollen in einem gemeinsamen Namespace liegen. Dieser einheitliche Namensraum bleibt beim Ausbau bestehen, statt den Datenbestand auf getrennte Storage-Bereiche aufzuteilen.
Zunächst kombiniert die Architektur den NetApp Novus Data Director mit ONTAP-Datendiensten auf AFF-A90-Systemen. Der Data Director verwaltet die Metadaten und läuft auf qualifizierter Supermicro-Infrastruktur. Die AFF-Systeme übernehmen die Datenübertragung. Dabei sollen die Datendienste von Ontap erhalten bleiben. Für den Betrieb mit mehreren Mandanten nennt der Hersteller zudem Funktionen für Ausfallsicherheit, Sicherheit und Mandantenfähigkeit.
Der Datenzugriff erfolgt über NFS. NFSv4.2- und pNFS-Flex-Files-Clients sind dabei im Betriebssystemkern integriert. Ein proprietärer Client sei nicht erforderlich. Als weitere unterstützte Technologien nennt der Hersteller nconnect und GPUDirect Storage.
100 TByte/s als Skalierungsprognose
Nach Anbieterangaben ist Novus auf einen Gesamtdurchsatz von mehr als 100 TByte/s ausgelegt. Die in der Ankündigung zitierte Omdia-Prüfung beschreibt, wie die Leistung beim Hinzufügen weiterer Ontap-Cluster zunimmt. »Das von uns geprüfte Netapp Novus zeigt eine nahezu lineare Leistungsskalierung, wenn Ontap-Cluster zu einem einzigen Global Namespace hinzugefügt werden«, sagt Tony Palmer, Chief Analyst bei Omdia.
Die Architektur soll laut Omdia auf bis zu 100 TByte/s sequenziellen Lesedurchsatz bei Dutzenden EByte effektiver Kapazität und darüber hinaus skalieren können. Die 100 TByte/s stehen somit für die modellierte Leistung einer entsprechend ausgebauten Installation. Netapp plant Novus für Dateisysteme im ZByte-Maßstab.
Netapp Novus: Bestellbar mit Supermicro und AFF A90
Novus ist ab sofort bestellbar. Die ersten Ausführungen setzen auf die Kombination aus Supermicro-Infrastruktur und AFF-A90-Systemen. Später sollen software-definierte Bereitstellungen folgen.