Mit der Integration der neuen AWS S3 Express API in seine Object-Storage-Plattform AIstor adressiert MinIO die Lücken der hyperskalierbaren Hochleistungsspeicherklasse. Der Anbieter ergänzt Amazons schnellsten S3-Zugriffsmodus um Funktionen wie Disaster-Recovery und synchrone Replikation – ohne Aufpreis.

MinIO erweitert seine Software-Plattform AIStor um native Unterstützung für die S3 Express One Zone API von AWS. Bei MinIO AIstor handelt es sich die kommerzielle Enterprise-Version der Open-Source-Objektspeicherlösung MinIO, die speziell für die Anforderungen von KI- und ML-Workloads entwickelt wurde. Sie bietet zusätzliche Funktionen und Optimierungen, die über die Open-Source-Version hinausgehen, um den Herausforderungen von Exascale-Dateninfrastrukturen gerecht zu werden. Mit der neuen Erweiterung übernimmt das Tool Amazons S3 Express-API und ermöglicht es Unternehmen, alle ihre Analyse- und KI-Daten - und nicht nur eine Teilmenge - ohne zusätzliche Kosten im Express-Modus zu speichern.

Die von AWS im Jahr 2023 eingeführte und über die Amazon S3 Express One Zone-Speicherklasse bereitgestellte S3-Express-API hat einen neuen Industriestandard für leistungsstarke und entwicklerfreundliche KI- und Analysespeicherung definiert und bietet eine 10-mal schnellere Leistung im Vergleich zur S3-Standardspeicherklasse.

Anzeige

Erweiterte Objekt-Storage-Plattform für KI- und Analyse-Workloads

Laut MinIO ist in AWS die verbesserte Leistung von AWS S3 Express One Zone jedoch mehr als fünfmal so teuer wie die Speicherung von Daten in S3 Standard und verfügt nicht über Datenschutz- und Replikationsfunktionen. »Um sie sicher zu nutzen, sollten Kunden daher eine dauerhafte Kopie ihrer Daten in S3 Standard speichern und Daten, die einen schnellen Zugriff erfordern, in S3 Express One Zone kopiere«, erklärt Garima Kapoor, Mitbegründer und Co-CEO von MinIO.

Zugleich adressiert MinIO die Schwächen des Originals: S3 Express One Zone verzichtet auf integrierte Redundanzmechanismen wie Replikation oder Schutz vor Ausfällen. Um dennoch unternehmenskritische Workloads abzusichern, ergänzt MinIO die Anbindung um Funktionen für aktive/passive Replikation, Batch-Replikation und vollständiges Disaster Recovery – alles direkt in AIstor eingebettet und ohne Mehrkosten.

»Bisher war die Nutzung von S3 Express aufgrund des Kostenaufschlags gegenüber S3 Standard in der Regel Daten vorbehalten, die einen schnellen Zugriff auf Kosten von Unternehmensfunktionen wie Replikation und Lebenszyklusmanagement erfordern«, sagt Kapoor. »Wir ändern das, weil wir glauben, dass es die Standard-API für alle analytischen Daten und KI-Workloads werden kann und sollte. Mit der AIStor S3 Express-API bleiben die Preise gleich, so dass Unternehmen jetzt alle ihre analytischen und KI-Daten und nicht nur eine Teilmenge in den Express-Modus versetzen können.«

»In den meisten Lakehouse-Umgebungen wird die Versionierung bereits durch Tabellenformate wie Apache Iceberg gehandhabt, die atomare Operationen auf Datei- oder Tabellenebene bieten«, ergänzt Sanjeev Mohan, Principal Analyst bei SanjMo. »Wenn die Versionierung jedoch auch auf der Speicherebene aktiviert ist, kann dies zu unnötiger Duplizierung und Komplexität führen. Die Entfernung der Versionierung aus der Speicherebene vereinfacht die Backend-Architektur, senkt die CPU-Auslastung auf den Speicherservern und trägt dazu bei, ungewolltes Speicherwachstum und steigende Kosten zu vermeiden.«

MinIO AIstor: Verbesserte Performance und Resilienz

MinIO hebt hervor, dass mit der S3 Express API unter AIstor nicht nur der Zugriff beschleunigt wird, sondern auch typische Limitierungen von AWS umgangen werden. PUT-Operationen werden laut Anbieter um bis zu 20 Prozent schneller abgewickelt, LIST-Anfragen profitieren von einer bis zu 447 Prozent verbesserten Time-to-First-Byte (TTFB).

Ergänzt wird dies durch neue Append-Operationen, die insbesondere für Streaming- oder Medienanwendungen relevant sind: Videoinhalte sollen sich beim Transkodieren direkt ergänzen lassen und in Echtzeit ausspielen. Die parallele Unterstützung von RDMA via Nvidia GPUDirect sowie BlueField-DPUs unterstreicht die Fokussierung auf KI-nahen High-Performance-Storage.

Einsatzbereit für produktive KI-Systeme

Laut MinIO-Mitgründerin Kapoor sei es damit möglich, nicht nur Teile, sondern ganze KI- und Analyse-Datensätze in den »Express Mode« zu versetzen. Die Kombination aus Geschwindigkeit, Resilienz und einfacher API-Nutzung mache das Angebot für viele Unternehmen interessant – auch angesichts der transparenten Preisstruktur ohne separate Gebühren für Standardanfragen wie GET, PUT oder LIST.

Die neue Lösung richtet sich vor allem an Organisationen mit datenintensiven Anwendungen, etwa im Machine-Learning, High-Performance-Computing (HPC) oder der Medienverarbeitung. Durch die S3-Kompatibilität bleibt der Einstieg niedrigschwellig – mit Performance- und Sicherheitsvorteilen, die weit über das Original hinausgehen.

Zusammenfassung:

• MinIO integriert die AWS S3 Express API in AIstor und ergänzt sie um fehlende Funktionen wie Replikation und Disaster-Recovery.
• Die Lösung adressiert datenintensive KI- und Analyse-Workloads mit signifikant beschleunigtem Zugriff.
• Unternehmen sollen von konsistentem Preismodell und erweiterten API-Funktionen ohne Vendor Lock-in profitieren.