Das Landratsamt Bad Homburg im Hochtaunuskreis (Hessen) betreibt seit März 2007 ein hochverfügbares Datennetzwerk, basierend auf Aktiven Komponenten des Herstellers Extreme Networks. Vor dem Hintergrund des durchgeführten Netzwerk-ReDesigns beschreibt der Artikel die Funktionsweise und das Featureset der Switchsysteme. Neben der Darstellung der eingesetzten Carrier Class Technologie (BlackDiamond 8800er und Summit X450er Switches) beleuchtet der Bericht insbesondere das breite Featureset des modularen Switch-Betriebssystems ExtremeXOS™ (EXOS), welches auf den Extreme Networks XOS-Switches einheitlich verfügbar ist.
Kreisverwaltung ist Dienstleister
IT-Service mit Provider-Charakter
Eine Kreisverwaltung ist letztlich ein Dienstleister. Sie stellt ihren Kunden (den Bürgern) spezifische Leistungen zur Verfügung; beispielsweise Führerschein- und KfZ-Zulassungen, Betreuung öffentlicher Schulen oder Soziale Dienste. In Bad Homburg stehen den Bürgern hierfür rund 700 Mitarbeiter in der Kreisverwaltung zur Verfügung, welche in insgesamt neun Geschäftsbereichen vertreten sind. Informationstechnische Dienstleistungen bietet im Hochtaunuskreis der Geschäftsbereich IT-Service. Der IT-Service versorgt neben den fachspezifischen Applikationen der Geschäftsbereiche u.a. 120 Server sowie 850 Email-Konten für die Mitarbeiter. Einige Dienstleistungen der Bad Homburger haben im Grunde genommen Provider-Charakter. So werden beispielsweise die 59 öffentlichen Schulen im Kreisgebiet mittels IT-Fernwartung zentral aus dem Landratsamt versorgt (Projekt Schule digital, vgl. Kasten). Auch können die Schulen, Städte und Gemeinden auf einen Web-/ Email-Hosting-Service zugreifen, welcher durch den IT-Service der Kreisverwaltung bereitgestellt wird. Gleiches gilt für die externe Nutzung von fachspezifischen Applikationen (z.B. Geoinformations-System).
 - Landratsamt Bad Homburg, Hochtaunuskreis (Hessen)
Carrier Class Komponenten
für Hochverfügbarkeit & Security
Im Hinblick auf das Redesign der Aktiven Komponenten im Netzwerk war insofern von vornherein klar, dass die benötigten Switchsysteme nicht nur der LAN-Ausstattung im eigenen Hause genügen, sondern auch Carrier Class Anforderungen erfüllen müssen, insbesondere im Hinblick auf die Hochverfügbarkeit und die Sicherheit. Ein Netzwerk-Ausfall und damit verbunden eine Trennung von digitalen Resourcen wird in der heutigen Zeit nicht mehr toleriert. De facto sind die meisten Dienste und Applikationen direkt abhängig von einer funktionierenden Netzwerk-Infrastruktur. Vor diesem Hintergrund und nicht zuletzt in Anbetracht des breiten Leistungsspektrums des ExtremeXOS™-Betriebssystems entschieden die Carrier Class- Switches von Extreme Networks das Rennen für sich, basierend auf einem Layer3 Netzdesign.
 - Abbildung 1: Layer3 10/100/1000Mbps Ethernet Netzdesign, inkl. Hochverfügbarkeit
Layer3 Netzdesign
Netzwerk-Struktur
Die Kreisverwaltung verfügt über eine strukturierte Verkabelung, alle Unterverteiler sind sternförmig mittels Glasfaser angebunden. Den Kern des Ethernet-Netzwerks im Landratsamt bildet ein Hauptverteiler im Rechenzentrum (RZ). Ausgehend von diesem Hauptverteiler sind 14 Unterverteiler mittels Lichtwellenleiter (LWL) redundant per Gigabit Ethernet (2x 1000BaseSX mittels Link Aggregation) angeschlossen (vgl. Abbildung 1, oben).
LWL-Hybrid-Verkabelung
unterstützt zukünftige 10Gig-Anbindungen
Neben den Multimode-Glasfasern verfügt der Sekundärbereich zusätzlich auch über Monomodefasern (9/125µm) zu den Unterverteilern. Diese Hybridverkabelung ist durchaus von Vorteil, insbesondere für zukünftige Performancesteigerungen auf den Verbindungen. Bei der Integration von 10Gigabit Ethernet Verbindungen (z.B. mittels 10GBase-LR Standard) unterstützten die 9µm-Fasern eine unkomplizierte Realisation. Unabhängig von Distanzlimitierungen, welche im Multimodenbereich hinsichtlich des Bandbreitenlängenverhältnis der LWL gegeben sind.
Layer3-Technologie
von Extreme Networks
Grundlage des Netzes in der Kreisverwaltung ist ein Layer3-Netzdesign, basierend auf dem IPv4-Netzwerkprotokoll. Das Design ist ausgelegt für ein IP-Netz pro Unterverteiler und bietet ausreichend Adreßbereiche für eine strukturierte Adreßvergabe:
• Bereich mit festen IPs für PCs
• Bereich mit Endgeräte-IPs, welche per DHCP vergeben werden (PCs, Notebooks, PDAs)
• Bereich mit festen IPs für Drucker
• Bereich mit festen IPs für die Netzwerk-Infrastruktur (Switches)
Abschottung der Unterverteiler
gegen Layer2-Netzstörungen
Das Layer3-Konzept beinhaltet IP-Netze pro Unterverteiler und ermöglicht so eine Abschottung der Unterverteiler gegen Layer2-Netzstörungen aus anderen Bereichen. Das Routing erfolgt dabei zentral auf den redundanten Coreswitches. Dies ermöglicht eine einfache Konfiguration und Administration der Edge-Switches und verlagert alle komplexen Konfigurationsinhalte in den Core. Der Einsatz von Etagen-übergreifenden VLANs ist möglich.
Zwischen den Coreswitches ist das OSPF Routing-Protokoll im Einsatz. Es wird nur auf den Transfer-VLANs zwischen den Coreswitches genutzt. Ausschließlich die Coreswitches haben eine direkte Verbindung in die Transfer-VLANs. So ergibt sich keine Möglichkeit der Beeinflussung der Coreswitch-Routing-Tabellen durch Clients oder Server.
VLAN-Struktur
Im Netzwerk der Bad Homburger werden portbasierende VLANs eingesetzt. Pro Unterverteiler gibt es ein VLAN sowie ein IP-Netz, welches auf diesem VLAN läuft. Dies ermöglicht eine simple Administration und vereinfacht das „Auffinden“ von Endgeräten im Netzwerk. Die Server sind mittels separatem VLAN im eigenen IP-Netz angeschlossen und befinden sich somit nicht gemeinsam in einer Broadcast-Domäne mit Anwender-PCs. Die Unterverteiler sind auf ein Coreswitch-Paar aufgeteilt (vgl. auch Abbildung 1, oben).
 - Abbildung 2: Modultypen der BD8800er Serie. Bis zu 48Gbps Performance pro Modul.
Aktive Komponenten
Coreswitches
Der aktive Kern (Core) des Ethernet-Netzwerks im Landratsamt besteht aus drei modularen Coreswitch-Systemen in redundanter Konfiguration. Dies verhindert einen „Single Point of Failure“, welcher einen Totalausfall durch einen einfachen Komponentendefekt bewirken könnte.
Als zentrale Coreswitches fungieren leistungsstarke, modulare Layer3 Carrier Class Systeme von Extreme Networks (vgl. Abbildung 1 oben sowie Abbildung 3 und 4 unten). In Bad Homburg sind die BlackDiamond 8800er Switchsysteme im Einsatz (BD8800er), welche pro BD8810er Switch eine Performance von 384Gbps bzw. 48Gbps pro I/O-Slot bereitstellen. Zur Anbindung der Infrastruktur stehen diverse I/O-Module zur Verfügung, darunter 48-Port 10/100/1000T (auch als PoE-Variante verfügbar), 48-Port 1000BaseX (SFP Mini-GBIC-based) sowie 4-Port 10Gig-Module (XFP- , XENPAK-based oder Kupfer), vgl. auch Abbildung 2 oben).
3x BlackDiamond 8810 als Coreswitches
Der BD8810-1 arbeitet als zentrales Default-Gateway für die Kreisverwaltung (Core-Router, vgl. Abbildung 3 unten). Neben dem Email-Server sind hierüber auch externe Lokationen an das Landratsamt angeschlossen (z.B. Veterinäramt). An den Core-Router sind zwei weitere BlackDiamond 8810er Switch-Systeme angebunden (BD8810-2 und BD8810-3, vgl. Abbildung 4 unten), welche als Standort-Switches redundant die Unterverteiler versorgen sowie für die Anbindung der Server zur Verfügung stehen. Zwischen den Standort-Switches ist eine 2x 4Gbps-Verbindung mittels Link Aggregation konfiguriert. Zu den Unterverteilern besteht eine 2Gbps-Verbindung, jeweils per 1000Base-SX.
1x BlackDiamond 8806 als DMZ-Switch
In der „Demilitarized Zone“ (DMZ) nutzt die Kreisverwaltung das BackDiamond 8806er Switch-System als DMZ-Switch. Der BD8806 ist kleiner als das BD8810er System (vier I/O-Slots anstatt acht), verfügt aber ansonsten über das gleiche Featureset-Spektrum.
Das Landratsamt in Bad Homburg nutzt einen performanten 50Mbps Internet-Zugriff und verwendet den BD8806er zur Versorgung externer Lokationen bzw. als Infrastruktur-Switch für die Bereitstellung von entsprechenden Resourcen: u.a. Webserver, Homepage-Hosting für rund 30 öffentliche Schulen, Versorgung für „Schule digital“, sowie fachspezifische Applikationszugriffe für Städte und Gemeinden (z.B. auf das Geoinformationssystem). Ein Fortinet Security Gateway HA-Cluster dient in dieser Konstellation als Firewallsystem (ASIC-basiert, Wirespeed Scanning, vgl. Abbildung 7 unten).
 - Abb. 3 & 4: BB8810-1 (Core-Router) links, BD8810-3 (Standort-Switch) im RZ
Edgeswitches mit Triple Speed
ermöglichen “Gigabit to the Edge”
In den 14 Unterverteilern der Kreisverwaltung steht die SummitX450er-Serie zur Verfügung. Diese Switches sind ebenfalls Carrier Grade-Systeme, verfügen auch über das ExtremeXOS™-Betriebssystem, und ermöglichen einen 10/100/1000Mbit/s TripleSpeed Ethernet Zugriff im Etagenbereich (Edge).
31x Summit X450a-48t als Edge-Switches
An den Core sind insgesamt 14 Unterverteiler redundant mit je zwei Gbps (per Link Aggregation) angeschlossen. Je nach benötigter Portanzahl im Unterverteiler sind die X450er-Switches in 1er-, 2er- oder 3er-Stacks gruppiert. Ein 3er-Stack stellt hierbei 3x 48-Ports mit 10/100/1000T, also 144 Triple Speed Ports aggregiert zur Verfügung. Alle Etagenswitches verfügen über eine redundante Stromversorgung (vgl. Abb.6 unten).
SummitStacking
Die Gruppierung der Switches funktioniert per SummitStacking mit einer Perfor-mance von zehn Gbps (10Gig). Hierbei erfolgt die Verwaltung des Stacks über eine IP-Adresse. Es können bis zu acht Switches (der Summit X250 und X450er Serie) im Mix gestapelt werden (vgl. Abbildung 5 unten). Dabei ist die Funktionalität des Stapels auch bei einem eventuellen Ausfall eines Switches gegeben. Bemerkenswert ist die Local Switching-Funktion für Non-Master Units sowie die integrierte Hitless Failover-Funktion.
Der Hochtaunuskreis setzt in Core- und Edge-Bereich des Netzwerks auf die Systeme von Extreme Networks. Durch den einheitlichen Einsatz der Extreme Networks-Serie ergeben sich einige Vorteile. Insbesondere das einheitliche Bedienerinterface (CLI und WebGUI) vereinfacht die Administration der Geräte. Denn durchgängig von den Core-, über die Aggregations- / Distributions-Switches bis hin zu den Edge-Komponenten verfügen die Systeme von Extreme Networks über ein einheitliches Betriebssystem: ExtremeXOS™.
Die Switches basieren zudem auf einer Carrier Class Hardware und bieten ein attraktives Feature-Set zur Realisierung eines stabilen Netzwerk-Betriebes. Insbesondere im Hinblick auf die Hochverfügbarkeit im Netz (u.a. das Extreme Standby Router Protocol [ESRP] und Ethernet Automatic Protection Switching [EAPS]).
 - Abbildung 5 und 6: SummitStacking per 10Gig, 3x Summit X450a-48t im Stack (144 Ports), jeweils mit redundanter Stromversorgung.
Hochverfügbarkeit im Netz
Ausfall-Strategie im Core: ESRP, OSPF
Zur Steuerung der redundanten Topologie werden im Landratsamt Bad Homburg verschiedene Mechanismen eingesetzt. Hierbei gibt es folgende Anforderungen:
Erstens: die zwingende Unterdrückung von Netzwerkschleifen zur Verhinderung von Broadcast Storms. Eine Schleife ermöglicht im Gigabit Ethernet das Kreisen von mehreren 1.000 Broadcast-Frames pro Sekunde und blockiert so die Netzwerkkommunikation. In bestimmten Fällen kann ein Broadcaststurm auch einen manuellen Reboot von Endgeräten wie z.B. Printserver erfordern.
Zweitens: die Bereitstellung eines redundanten Default-Gateways für die angeschlossenen Client-/Server-PCs. Die redundante Instanz wird auf einem zweiten Switch konfiguriert und ermöglicht so die Ausfallsicherheit bzw. die Erreich-barkeit des Gateways im Falle einer Störung des Primär- (Layer3-) Switches. Zwingend zu beachten ist jedoch, dass nur eine Instanz aktiv geschaltet ist. Zwei aktive Routing-Interfaces mit der gleichen IP-Adresse führen unweigerlich zu Netzstörungen.
Die Steuerung der redundanten Instanz sowie die Unterdrückung von Netzwerkschleifen wird durch ein geeignetes Protokoll geregelt. Im Netzdesign des Hochtaunuskreises übernimmt diese Aufgabe das Extreme Standby Router Protocol (ESRP). ESRP steuert die Redundanzen zentral auf den Coreswitches. Das Verfahren ist sowohl für Layer2- als auch für Layer3-Redundanzstrategien geeignet und erfordert nur die Aktivierung des ESRP-Aware-Modes auf den redundant angeschlossenen Etagen-Switches.
 - Abbildung 7: Fortinet FortiGate HA-Cluster im Rechenzentrum
ESRP mit Vorteilen
gegenüber STP und VRRP
Im Vergleich zu ESRP benötigt die STP/VRRP-Redundanzsteuerung zwei Protokolle: das Spanning Tree Protocol (STP) für Layer2- und das Virtual Router Redundancy Protocol (VRRP) für die Layer3-Redundanzsteuerung.
Im weiteren Vergleich bedingt Spanning Tree eine Konfiguration des STP-Protokolls auch auf den Etagenswitches. Dies erhöht allerdings den Administra-tionsaufwand der Switches sowie das Störungspotential der Konstellation im Betrieb. Zudem sind STP und VRRP im Client-VLAN aktiv und können daher durch geeignete Tools PC-seitig beeinflusst werden.
Zur Bekanntgabe der aktiven Routerinterfaces in einer redundanten Konfiguration sind statische Routingeinträge nicht geeignet. Für eine dynamische Aktualisierung der Routingtabellen im Falle einer Änderung ist vielmehr ein dynamisches Routingprotokoll notwendig. Im Netzwerk der Kreisverwaltung wird hierzu das Routingprotokoll Open Shortest Path First (OSPF) eingesetzt.
Redundanz-Umschaltung in 3 Sekunden
Im Rechenzentrum bilden die zwei BD8810er Core-Switches ein Redundanz-Paar. Die Redundanz-Umschaltung erfolgt hierbei innerhalb von ca. 3 Sekunden. Auslöser für eine Redundanz-Umschaltung ist entweder ein Link-Down an einem Uplink-Port zu einem Etagen-/ oder Core-Switch oder der Ausfall eines primären Core-Switches. Noch kürzere Umschaltzeiten sind mit EAPS/VRRP erreichbar. Diese Redundanzmechanismen ermöglichen Umschaltzeiten unterhalb einer Sekunde.
 - Abbildung 8: Blick in das Rechenzentrum Hochtaunuskreis
|
| Download |
Carrier Class Switching
Netzwerk ReDesign im Landratsamt Bad Homburg, Hochtaunuskreis.
Extreme Networks BlackDiamond 8800er & Summit X450er Serie ermöglichen Carrier Class Switching und "Gigabit to the Edge" in der Kreisverwaltung.
Modulares Betriebssystem ExtremeXOS unterstützt Hochverfügbarkeit, Security & Universal Port-Technik.
|
|
