Im SAN-Umfeld tummeln sich mittlerweile FC, iSCSI und FCoE. Ging es früher nur um die hohen FC-Kosten, so sind heute andere Kriterien bei der Entscheidung zum SAN ausschlaggebend. Was bieten die einzelnen Technologien und wo lassen sie sich am besten einsetzen?
Die SNIA definiert ein Storage-Area-Network (SAN) als »ein Netzwerk, dessen primäre Aufgabe der Datentransport zwischen Rechnern und Speicherelementen oder zwischen Speicherelementen ist. Ein SAN besteht aus einer Kommunikations-Infrastruktur mit physikalischen Verbindungen, einer Kommunikationsschicht und einer Verwaltungsschicht, welche die Verbindungen, Speicherelemente und Rechner so organisieren, dass der Datentransport sicher und robust vonstatten geht.«
Dabei ist der Begriff SAN nicht automatisch mit dem Begriff Fibre-Channel (FC) verknüpft. IP-Netzwerke, deren primärer Zweck die Verbindung zwischen Rechnern und Speicherelementen sind, können also genauso als SAN bezeichnet werden – als »IP-SAN«. FC-SANs haben sich als Standard etabliert. Positive Nutzeffekte sind die Verbindung vieler Geräte, der Transport großer Datenmengen sowie möglichst große Effizienz und niedrige Latenzen. IP-SANs haben sich überall dort bewährt, wo bestehende Ethernet-Infrastrukturen ohne großen Schulungsaufwand schnell zu Ergebnissen führen sollen. Zum »traditionellen« iSCSI-SAN gesellt sich seit 2009 das FCoE-SAN, das die Ethernet-Infrastruktur für die Nutzung durch das FC-Protokoll bereitstellt.
Fibre-Channel-SAN
FC ist eine ausschließlich zur Speicherkopplung verwendete Technologie. Sie wird durch die T11-Arbeitsgruppe des International Committee for Information Technology Standards (INCITS) und das American Standards Institute (ANSI) definiert und fortentwickelt. Ursprünglich wurde FC vor allem für Supercomputing verwendet, hat sich in den letzten zehn Jahren jedoch zum Standard in der Rechner-Speicher-Kopplung entwickelt. FC ist ein Protokoll, welches SCSI-Kommandos über FC-Netzwerke transportiert. Im Gegensatz zum Vorgänger SCSI, der mit dicken 50-adrigen Kabeln sehr begrenzter Länge auskommen musste, bietet FC die Möglichkeit der Anbindung über sehr kompakte Lichtleiter und sehr große Strecken.
Seit der Standardisierung 1994 hat sich FC zu einer immer schnelleren und vielfältigeren Kopplungsart entwickelt. Inzwischen ist der 20-Gbit/s-Standard verabschiedet, mit dem sich 2,6 GByte/s transportieren lassen. Üblich sind derzeit allerdings 4-GBit/s-Adapter an den Rechnern und 8-Gbit/s-Switche im Backbone.
Fibre-Channel kann verbindungsseitig in drei Arten konfiguriert werden. Point-to-Point (FC-P2P) ermöglicht die Verbindung eines Rechners mit einem Speichersystem, Arbitrated Loop (FC-AL) schließt Geräte in einem Ring zusammen, ähnlich einem Token-Ring-Netzwerk. Fällt hier ein Gerät aus, bricht der Ring zusammen und alle anderen Geräte sind ebenfalls nicht mehr zu erreichen. Switched Fabric (FC-SW) schließlich ist die heute üblichste Form des Fibre-Channel. Alle Geräte sind über Switche an die Infrastruktur angeschlossen, ähnlich wie beim modernen Ethernet. Somit hat der Ausfall eines Geräts, Ports oder Kabels keinen Einfluss auf die Funktion aller anderen Komponenten.
In einem Switched-Fabric-SAN lassen sich bis zu 16,7 Millionen Adressen gleichzeitig ansprechen. Alle angeschlossenen Komponenten handeln die Bandbreite der jeweiligen Kommunikation individuell aus, so dass Geräte mit ein, zwei, vier und acht Gbit/s in einem Netzwerk betrieben werden können. Dafür ist mindestens ein Switch erforderlich, an den zur einen Seite die Rechner und zur anderen Seite die Speichersysteme angebunden werden. Über Inter-Switch-Links (ISL) können Switche miteinander kommunizieren und so ein ausfallsicheres Netz mit Lastausgleich herstellen. Wird Hochverfügbarkeit benötigt, ist anstatt der Switche auch der Einsatz von Direktoren möglich. Diese sind redundant aufgebaut und lassen sich während des laufenden Betriebes um- oder aufrüsten.
In jeder Fabric werden die Beziehungen zwischen den logischen Laufwerken der Speichersysteme (LUNs) und den Host-Bus-Adaptern (HBA) der Rechner in Zonen festgelegt. Jeder Switch bzw. Direktor kann eine oder mehrere Zonen verwalten.
Für die Verkabelung der Komponenten eines FC-SAN stehen viele unterschiedliche optische Medien zur Auswahl. Standard-Multimode-Kabel für 2-Gbit/s-Kopplungen können bis zu 150 Meter, für 4-Gbit/s-Kopplungen bis zu 75 Meter und für 8-Gbit/s-Kopplungen bis zu 40 Meter lang sein. Für größere Distanzen stehen Single-Mode-Kabel mit bis zu 50 Kilometer Länge Verfügung.
Der Protokoll-Overhead von FC ist im Vergleich zu iSCSI und FCoE der geringste, womit sich Übertragungsleistungen von bis zu 460 MByte/s bei vier Gbit/s oder bis zu 920 MByte/s bei acht Gbit/s erreichen lassen.
Alle Komponenten eines FC-SAN können nur zur Speicherkopplung und für keinen anderen Zweck eingesetzt werden. So muss der Betreiber immer mindestens zwei Netzwerkarten installieren, warten, schulen und verwalten. Hinzu kommen die Kosten für separate Verkabelung, zwei Arten Switche oder Direktoren und mindestens einen weiteren HBA pro Rechner sowie zusätzlichen Strom und die Kühlung.
iSCSI-SAN
iSCSI wurde durch die Internet Engineering Task Force (IETF) entwickelt, um SCSI-Kommandos und Daten über ein IP-Netzwerk zu übertragen. Es ermöglicht einem Rechner (Initiator), SCSI-Kommandos und Daten mit Hilfe von TCP/IP-basierten Netzwerken zu einem Speichersystem (Target) zu senden.
Mit den jüngsten Entwicklungen des iSCSI-Protokolls und Netzwerkadaptern mit TCP/IP-Offload-Engines (TOE) erreichen iSCSI-SANs annähernd die gleichen Leistungen wie FC-SANs. Aus Sicht des Speichers nutzt iSCSI den SCSI-Kommandosatz und spricht damit die gleiche Sprache wie alle anderen Speicherkonfigurationen. Aus Sicht des Netzwerks baut iSCSI auf Ethernet und IP auf, also der Basis für die meisten Unternehmens- und Weitverkehrs-Netzwerke.
Ein iSCSI-SAN erfordert ein Netzwerk aus Standard-Ethernet-Komponenten. Hierbei empfiehlt es sich, Switche und Router für Rechnerkopplung von denen für Speicherkopplung zu trennen. Das Netzwerk kann darüber hinaus Komponenten enthalten, die iSCSI- und andere Schnittstellen kombinieren und somit eine Brücke zu SCSI- oder FC-Speichernetzen herstellen.
Die Leistung eines iSCSI-SAN hängt vor allem von der Bandbreite des Ethernets und den verwendeten Netzwerkadaptern ab. Standardkomponenten bieten zurzeit entweder ein oder zehn Gbit/s an Bandbreite, übertragen also entweder 128 MByte oder 1,28 GByte/s reine Daten. Zieht man den Protokoll-Overhead ab, bleiben noch 90 bzw. 900 MByte Übertragungsrate. Dies ist allerdings nur dann erreichbar, wenn das verwendete Netzwerk ausschließlich der Speicherkopplung zur Verfügung steht und an den Rechnern Adapter mit TCP/IP-Offload-Engines (TOEs) im Einsatz sind. Diese TOEs entlasten die CPU vom »Entpacken«, Bearbeiten und Packen der IP-Pakete. Werden Standard-Ethernet-Adapter verwendet, fällt die Leistung des Rechners dramatisch ab, da für die Bearbeitung jedes IP-Pakets ein so genannter Interrupt an die CPU gesendet wird.
Preislich stellt iSCSI die momentan günstigste SAN-Variante dar. Es sind weder spezielle Netzwerke noch einschlägige Softwarekomponenten nötig – abgesehen von den entsprechenden Treibern. Der Aufbau des Netzwerks kann mit Ethernet- und TCI/IP-Kenntnissen erfolgen, die Überwachung und Wartung im Zusammenhang mit den übrigen Netzen vorgenommen werden.
Fibre-Channel over Ethernet
Fibre-Channel over Ethernet (FCoE) wurde durch die FC-BB-5 Arbeitsgruppe der T11 entwickelt. Es transportiert FC-Pakete über verlustlose Ethernet-Netzwerke und erlaubt damit die Nutzung von Standard-Netzwerken unter Beibehaltung des FC-Protokolls. FCoE ersetzt die Schichten (Layer) 0 und 1 des Fibre-Channel-Stacks durch Ethernet und erlaubt so eine transparente Integration in existierende FC-Netzwerke und deren Verwaltung. Im Gegensatz zu iSCSI, das auf TCP und IP aufsetzt, läuft FCoE direkt über Ethernet im Netzwerk-Protokollstack. Damit lässt sich FCoE nicht auf der IP-Schicht routen.
FCoE benötigt drei Erweiterungen, um FC-Pakete über Ethernet transportieren zu können: die Einfassung nativer FC-Pakete in Ethernet-Pakete; Erweiterungen des Ethernet-Protokolls selbst, um den Verlust von Paketen durch Kollisionen zu verhindern und die Abbildung von FC N-Port-IDs (FCIDs) auf die MAC-Adressen von Ethernet-Ports.
Um an FCoE-Netzen teilzunehmen, benötigen Rechner Converged-Network-Adapter (CNAs), die sowohl Funktionalitäten eines Ethernet- als auch eines FC-Adapters enthalten. CNAs sorgen für eine Entlastung der CPU des Rechners, indem sie die Verarbeitung der Ethernet-Pakete selbst vornehmen.
Mit FCoE lässt sich die Verkabelung in Rechenzentren deutlich reduzieren. IP- und SAN-Datentransport kann über dieselbe Infrastruktur erfolgen. Durch den Einsatz von CNAs lässt sich die Anzahl der Netzwerk- und Host-Bus-Adapter nachhaltig verringern. So halbiert sich die Kabelanzahl und Strom- und Kühlkosten sinken.
Auch die Leistung eines FCoE-Netzwerks hängt von der Bandbreite der Ethernet-Verbindungen ab, also ein oder zehn Gbit/s (128 MByte bzw. 1,28 GByte/s). Nach Abzug des Protokoll-Overheads, der durch Wegfall der TCP/IP-Schichten wesentlich kleiner ausfällt als bei iSCSI, stehen noch 110 MByte oder 1,1 GByte/s zur Verfügung.
Preislich dürfte FCoE künftig noch wesentlich erschwinglicher werden. Da FCoE erst im Juni 2009 endgültig veröffentlicht wurde, stehen erst wenige Angebote von CNA- und Speicheranbietern zur Verfügung. Die großen Hersteller wie EMC, HP, IBModer NetApp haben noch für 2009 FCoE-fähige Speichersysteme angekündigt, auch Brocade, Cisco und Emulex richten seit geraumer Zeit die Entwicklung für die Netzwerkinfrastruktur in diese Richtung aus. Insgesamt scheint FCoE eine wesentlich bessere Zukunft als iSCSI beschert zu sein.
Fazit
FC-SANs waren solange die Technik der Wahl, wie Ethernet noch mit ein Gbit/s und damit einer für die Speicherkopplung indiskutablen Bandbreite ausgestattet war. Nun, mit durchgehend zehn Gbit/s, werden iSCSI und vor allem das jüngst abschließend definierte FCoE zu echten Alternativen zum traditionellen, abgeschlossenen Speichernetzwerk.
Betrachtet man den Aufwand von Installation und Wartung, so drängen sich iSCSI und FCoE ebenfalls auf. Nur eine Art der Netzwerkinfrastruktur, keine separaten Kabel, somit weniger Energieverbrauch und Klimatisierung schlagen positiv zu Buche. FC kann nur noch in den Bereichen Sicherheit und granularer Aufbau punkten.
Einsatzbereich FC-SANs
Jede große Speicherlandschaft, die mehr als hundert Rechner und fünf bis zehn Speichersysteme beheimatet, wird am ehesten mit einem FC-SAN zurechtkommen. Die dedizierte Zuweisung der Ressourcen, das sehr granulare Core-Edge-Konzept und die durch eine komplett getrennte Infrastruktur erreichbare Sicherheit und Leistung machen für viele große Anwender FC zur Technik der Wahl. Dabei ist mit Premium-Preisen zu rechnen, denn die Hersteller wissen: Wer FC-SANs auf- oder ausbaut, ist auf deren spezielle Eigenschaften angewiesen und muss die Preise zahlen. Hinzu kommen weitere Kosten durch Schulung, die separate Infrastruktur mit Switchen oder Direktoren, eigene Verkabelung, Stromverbrauch und Kühlung. Alles in allem ein elegantes und leistungsfähiges Vergnügen, aber auch das bei weitem teuerste.
Einsatzbereich iSCSI-SANs
Bis vor kurzem war iSCSI für alle Speichernetze das Protokoll der Wahl, die nicht separat verkabelt und nicht mit einer eigenen Infrastruktur ausgestattet werden sollten oder wollten. Durch das Aufsetzen auf TCP/IP und die Nutzung des existierenden Netzwerks fallen für die einfachste Variante alle Mehrkosten weg. Soll jedoch die von 10-Gbit/s-Netzwerken versprochene Leistung erreicht werden, empfehlen sich der Aufbau eigener Speichersubnetze und der Einbau von TCP/IP-Offload-Engines (TOE) in den Netzwerkadaptern. Dadurch steigen die Kosten zwar, sie liegen jedoch bei weitem nicht so hoch wie im FC-Bereich. Hinzu kommt, dass eine zusätzliche Schulung des Personals entfällt und keine eigene Hardware in Betrieb ist, die Kosten für Strom und Klima verursachen würde.
Einsatzbereich FCoE-SANs
FCoE verbessert das Kosten-Nutzen-Verhältnis von iSCSI nochmals. Sind unter iSCSI noch getrennte Ethernet-TOE- und FC-Hostbus-Adapter notwendig, lässt sich FCoE über die vereinheitlichten CNAs betreiben, die Rechner- und Speicherkopplung parallel erlauben. FCoE ermöglicht so die gemeinsame Nutzung der Verkabelung und Infrastruktur durch Rechner- und Speichernetze, wodurch die gesamte Komplexität der Installation erneut gesenkt wird. Diese gemeinsame Nutzung birgt aber auch eine Gefahr: Fällt das Rechnernetz aus, stehen den Servern auch keine Laufwerke mehr zur Verfügung. Wer mit diesem Risiko leben kann, ist mit FCoE in Zukunft gut bedient.