13.07.2018 (Doc Storage)
4.4 von 5, (8 Bewertungen)

High-Performance-Storage im Eigenbau

Leserfrage: Angestachelt von der Tuning-Szene im Gamer-Bereich, fragen wir uns, mit welchem Aufwand man ein, sagen wir, 12-Bay-RAID zu Höchstleistungen bringen kann. Uns ist bewusst, dass wir zwischen IO- und Durchsatzleistung unterscheiden müssten. Hätten Sie spontan ein paar Ideen, wie wir mit Bordmitteln ein hochperformantes Speichersystem Marke Eigenbau zusammenstellen könnten? Beispielsweise in Bezug auf das OS, Schnittstellen, RAID-Controller usw.

Weil Sie es sicher ansprechen werden: Lassen Sie uns, die für den RZ-Betrieb ansonsten wichtige Kriterien wie SLAs, Support und dergleichen einfach mal hintenanstellen.

Antwort Doc Storage:

Wie (fast) alles in der Informatik ist dies kein neuer Gedanke. Ich erinnere mich gut an RAIDs Marke Eigenbau mit mehreren SCSI-Platten (jaja, ich weiß, aber damals das schnellste...) in Holzrähmchen, mit fliegender Verdrahtung und abenteuerlich getunten Controllern. Es ging den Machern damals allerdings nicht um Schnelligkeit, sondern lediglich um die Herstellung von RAID-5-Verläßlichkeit auf einigermaßen bezahlbarem Niveau.

Ihnen (und vielen anderen) geht es hier aber um etwas völlig anderes, nämlich um den höchstmöglichen Durchsatz und die meisten I/Os. Was, wie Sie richtig bemerken, nichts oder nur wenig miteinander zu tun hat. Ich dumpe jetzt einfach mal meine Gedanken...

Anzeige
Den Durchsatz und die I/Os müssen wir optimal verlustfrei an die CPU bringen. Das heißt, der Overhead des genutzten Protokoll, des involvierten Datei- und Betriebssystems müssen möglichst gering sein. Ein Transport von außerhalb des Rechners scheidet aus, da alle im Moment genutzten Anschlussmethoden (FC, SAS oder was auch immer) ein zusätzliches Protokoll ins Spiel bringen und damit für mehr Verlust sorgen. Also eine interne Lösung für den Controller.

Entweder PCI mit NVMe, da wir ja mit Sicherheit Festspeicher verwenden werden. PCIe 4.0, seit kurzem erhältlich, schafft mit 16 Lanes knapp 32 GByte pro Sekunde, NVMe erhöht die Geschwindigkeit vor allem bei parallelen Zugriffen, was die Leistung hier wie gewünscht noch steigern würde. Dazu gesellen sich dann NVMe-fähige M.2-SSDs, die momentan bei 3,5 GByte/s lesend und 2,1 GByte/s schreibend liegen. Für diese müssen wir einen Controller finden, der zwei oder vier dieser Formel-1-Speicher ansprechen kann, da wir diese natürlich noch in RAID-10-Verbund (jaja, ich kann nicht ohne) nehmen werden, um zumindest den Lesedurchsatz deutlich zu erhöhen. Eine Durchsatzverdopplung können wir uns zwar erhoffen, aber nicht erreichen.

Nun zum Betriebssystem bzw. noch wichtiger, das Dateisystem. Wenn man mich fragt (und den Fehler haben Sie ja nun begangen), dann kommt für diesen Versuch nur und ausschließlich ein Betriebssystem in Frage, das ohne Dateisystem, also mit RAW-Nutzung auskommt, also Linux oder ein ernstzunehmendes proprietäres Unix. Damit fällt die Frage nach dem Dateisystem weg, der Overhead genauso.

Wenn Sie also einen entsprechenden Controller (zu Testzwecken tut es ja auch erstmal eine Einkanal-Version) und einen Rechner finden, auf dem Sie das (Controller, SSD, Betriebssystem) installiert bekommen, dann wünsche ich Ihnen viele Späße beim Erreichen der nächsten I/O- und Durchsatz-Höhen.

Die nächste Stufe ist dann das von Ihnen so leichtfertig geforderte 12-Bay-RAID. Dafür müssten wir ein System bauen, das mit sechs parallelen PCIe/NVM-Controllern für jeweils zwei Laufwerke ausgerüstet werden kann. Damit akkumulieren wir im schlimmsten Falle über 40 GByte/s lesend, was auch der modernste Rechner mit PCIe 4.0 auf 16 Lanes nicht unterbringt. Aber wir können ja erst einmal versuchen, die Maschine zu bauen und dann zu sehen, wie nah wir an diese Grenze kommen.

Ihre Frage hat mich jetzt so angespornt, dass ich genau das jetzt mal versuchen werde. In den kommenden Wochen berichte ich in einem Beitrag über die Zwischenstände, und vielleicht können wir dann ja noch einmal Gedanken austauschen...

Dies gilt natürlich auch für alle anderen: Wer Ideen und Anregungen hat, immer her damit.

Gruß
Doc Storage

Stellen Sie Ihre Frage
Doc. tec. Storage beantwortet alle Ihre technischen Fragen zu Storage, Backup & Co.

Stellen Sie Ihre Frage an: DocStorage@speicherguide.de
Kommentare (2)
16.07.2018 - wmetterhausen

ZFS ist gewiss eine gute Idee. Warum aber dann nicht gleich FreeBSD? Da ist ZFS seit Jahren integriert und man hat auch noch DTrace für feinsinnige Analysen.

Gewiss geht mit Linux alles mögliche aber wenn es schon in Richtung Server geht, könnte man ja auch gleich ein Server-OS heranziehen und nicht die universelle Bastelkiste Linux ;-)

13.07.2018 - ksteinb

Mit Linux und ZFS (ZOL - ZFS on Linux) lässt sich recht gut ein hochperformantes Speichersystem bauen, die Frage ist immer _welche_ Performance wirklich gefordert ist. Mit Standardfestplatten ist die Grenze immer die IOPS der einzelnen Festplatten. Etwas kaschieren lässt sich das mit Schreib- und Lesecache. Da bietet ZFS auch gute Unterstützung.

Aber: Finger weg von RAID Controllern. Für ZFS sind HBA's definitiv besser geeignet.

Übrigens lassen sich damit auch recht gut hochverfügbare Storages bauen (2 Köpfe, erfordert dann natürlich SAS Shelfes/Platten).

Wenn Sie genauer wissen wollen wie man das macht einfach mal nach "Steinberger LMU" googeln, da finden Sie meine Kontaktdaten.


Mehr von Doc. tec. Storage 05.06.2020 Daten-Crash beim Kopieren zwischen zwei NAS-Systemen

Ein Leser wollte Daten von einem in die Jahre gekommen NAS-System auf ein Neues überspielen. Der Windows-Explorer entpuppte sich allerdings als kein zuverlässiges Kopierwerkzeug für große Datenmengen. Es kam zum Daten-Crash, inklusive einem beschädigtem Dateisystem. Doc Storage sieht bestenfalls eine minimale Chance, die Daten wiederherzustellen.


29.05.2020 Ein RAID ersetzt kein Backup

Im NAS-System einer unserer Leser ist eine HDD ausgefallen. Während des Rebuilds auf eine neue Festplatte kommt es zum Supergau und es fällt auch die zweite der beiden ursprünglichen RAID-1-Platten aus. Der Nutzer hatte diese Konfiguration extra aus Gründen der Datensicherheit gewählt. Da bleibt Doc Storage leider nur eine Antwort: Ein RAID ersetzt kein Backup.


15.05.2020 Doc Storage: »Ich vermisse den Gegenwind«

Doc Storage ist fassungslos, fast sogar ein kleinwenig sprachlos. Na ja, nicht ganz, Sie kennen ihn ja. Nachdem er den Einfluss der Coronakrise auf die IT ausführlich und aus verschiedenen Blickwinkeln beleuchtet hat, inklusiver einiger steiler Thesen, ist es ihm hier eindeutig zu ruhig. Da hatte er sich mehr Gegenwind erwartet. Liebe Leser, unser Doc hat Ihnen etwas zu sagen…


08.05.2020 HPC-Speicher: schnell & sicher schließen sich meist aus

Doc Storage nimmt sich in seiner Kolumne unter anderem die HPC-Studie von Hyperion Research vor. High-Performance-Computing hat aus seiner Sicht klar den Auftrag schnell zu sein. Die von den Marktforschern geforderte Ausfallsicherheit, wäre kein Problem, wenn die Firmen genug Geld ausgeben würden. Ansonsten gehe ein Mehr an Sicherheitsmaßnahmen immer zu Lasten der Leistung.


30.04.2020 Cloud vs. On-Premises: Wichtige Daten nur inhouse speichern

Wer daran denkt, wichtige Daten in die Cloud auszulagern, sollte sich nicht fragen, wie hoch die Einsparungen gegenüber On-Premises ausfallen, sondern was es kosten wird, sollten die Daten kompromittiert werden. Der Cloud-Act ist zwar eine reale Gefahr, letztendlich ist aber jeder halbwegs begabte Hacker eine Bedrohung. Laut Doc Storage kann der Rat daher nur lauten: »Behalten Sie Ihre Daten inhouse mit maximalen Sicherheitsvorkehrungen«.


24.04.2020 Corona/IT Teil 3: Die Zeit nach Corona: Ein Blick in die Zukunft

Wann auch immer die Einschränkungen aufgehoben werden, es wird eine Zeit danach geben. Und darin ist sich Doc Storage sicher, naja, er hofft es, es wird vieles nicht mehr so sein wie vorher. Möglicherweise stellen Firmen fest, dass es mit weniger Hard- und Software genauso gut geht, ohne externe Berater und einem wesentlich geringeren Budget. Und die Ersparnis darin liegt, die IT vor allem intern zu regeln.

powered by
Zadara Itiso GmbH
Fujitsu Technology Solutions GmbH Infortrend
N-TEC GmbH FAST LTA
Folgen Sie speicherguide.de auch auf unseren Social-Media-Kanälen
Folgen Sie und auf Facebook Folgen Sie und auf YouTube Folgen Sie und auf Twitter