Category Archives: Datacenter@Home

Umbau Keller – Nachtrag

Wie ich bereits angekündigt hatte, fehlten nur noch die Seitenwände. Seit heute sind die Seitenwände ordentlich am Rack montiert. Wieder habe ich ein Projekt abgeschlossen! Einst war es die EVA, dann das erste Blade und zweite Blade, nun auch ein komplettes Rack. :)

Besonders hervorzuheben ist, das ich in meinem Rack wirklich überwiegend die originalen Rackschienen verwende. Mir fehlen eigentlich nur noch die Schienen und die Sleeves für die zwei Brocade SAN Switche. Für mein C7000 BladeSystem liegen schon seit letzter Woche die Original HP Rackschienen bereit.

Weiterhin bin ich sehr stolz auf meine professionelle Stromversorgung mit zwei PDUs, Extension Bars, einschließlich der sauberen Verkabelung.

Mein Rack so wie ich es aufgebaut habe ist durchaus auf Rechenzentrums-Niveau. Und das gefällt mir richtig gut. Immerhin war das ja auch mein Plan als ich letztes Jahr das Rack angeschafft habe. ;) Nur zum Kisten stapeln hab ich es mir nicht geholt. Denn mein Motto lautet schon seit eh und je: Wenn schon, dann richtig. :) Na gut, auf USVs hab ich wohl wissend verzichtet. ;)

Damit dürfte das Kapitel Hardware für die nächste Zeit erstmal abgeschlossen sein, außer mir fällt ein schickes Sun Fire Rack in die Hände. :D

Umbau Keller – Abgeschlossen

Am Wochenende war es nun soweit. Ich habe meinen bestehenden SMC Switch soweit vorkonfiguriert, im Anschluss ins Rack geschraubt, die Verkabelung vorgenommen und mein neues Rack in Betrieb genommen. Meine Umbauten sind demnach für das erste soweit abgeschlossen. Lediglich der HP ProLiant DL380 G4 Rackserver verweilt noch ohne Kabel im Rack. Ob ich den Server tatsächlich in Betrieb nehme, steht in den Sternen.

Just nach dem Strom auf den Systemen war, hab ich die Firmware meines c-Class BladeSystems auf Stand gebracht. Die Virtual Connect Konfigurationen meinen neuen Einstellungen des Netzwerks und des SANs angeglichen. Danach habe ich mich ein Weile mit dem Aufsetzen eines neuen Command View EVA Servers auf Basis eines BL465c Blade Servers beschäftigt. Damit dem Server nicht all zu langweilig wird, hab ich zusätzlich den VMware vCenter Server installiert.

Soweit bin ich sehr zufrieden mit meinem Umbau. Die neue Stromversorgung und die vollständige Neuverkabelung haben sich gelohnt. Mein Rack sieht sehr aufgeräumt und ordentlich aus. Fehlen lediglich die Seitenwände und der Umstieg auf einen vernünftigen Cisco Layer-3 1Gbit Switch, z.B. den Cisco Catalyst 3750G-24TS. Dieser will aber teuer bezahlt werden und ich hab doch noch so viele andere Wünsche. ;)

Umbau Keller – Fortsetzung #5

Der Umbau neigt sich dem Ende! Die neue Stromversorgung ist abgeschlossen und verrichtet Ihren Dienst. :) Ich habe sämtliche Sicherungen der PDUs umgelegt und alle Systeme werden wie geplant einwandfrei mit Strom versorgt. Hölle, ist das Rack laut. ;) Beide Blade Systeme machen zusammen mächtig krach, ganz zu schweigen von der Umdrehungsgeschwindigkeit meines Stromzählers. :D Das Lichterspiel ist der Wahnsinn, da lacht mein Herz. ;) Und beim Anblick des HP Logos sowieso…

Nun ist es an der Zeit, den Netzwerkumbau abzuschließen. Neue IP Bereiche die eine bessere Separierung von Netzen und weit aus höhere Flexibilität bieten stehen auf dem Plan. Ein vernünftiges MSTP Konzept soll für optimale Performance bzw. Auslastung der vorhanden Anschlüsse sorgen. Immerhin plane ich auch einen vermehrten Einsatz von iSCSI und NFS.

Im ersten Schritt soll dafür mein Nortel Layer-3 Switch wieder zum Leben erweckt werden. Aber noch im Laufe des Jahres werde ich sämtliches Netzwerk Equipment konsequent durch Cisco ersetzen. Warum dieser kostenintensive Schritt? Na ganz einfach, meine Freundin kann mit Cisco Switchen und Routern sehr gut umgehen. Damit werde ich das Thema Netzwerk in meinem Keller sukzessive an meine Freundin abgeben. ;) So haben wir zu zweit Spaß an meinen schönen Spielsachen. :D

Stay tuned. ;)

Umbau Keller – Fortsetzung #4

Die vollständige Stromverkabelung im Rack ist nun abgeschlossen. Einzige Ausnahme bleibt der DL380G4 Server, da mir dafür der Kabelmanagementarm fehlt. Morgen nur noch die richtigen IEC309 32A Dosen an die Wand montieren und dann kann ich doch tatsächlich Strom auf die zwei PDUs geben. ;)

Die SAN Verkabelung habe ich nochmal überarbeitet und ist ebenfalls soweit abgeschlossen. Es folgen in naher Zukunft ein paar weitere LWL Strippen für das p-Class Blade Enclosure. Doch dazu fehlt mir derzeit noch das Storage Connectivity Kit. ;)

Zum Spaß hab ich mal probeweise eine Seitenwand hingehalten. Dabei musst ich noch ein paar Korrekturen in meiner Stromverkabelung vornehmen. Damit die Seitenwand nicht so nackt aussieht hab ich schon eine schicke Idee im Sinn. :)

Langsam aber sicher gefällt mir mein Umbau immer besser… Bin gespannt auf das Endergebnis und auf den ersten Betrieb! ;)

Umbau Keller – Fortsetzung #3

Ich konnte es nicht lassen und habe weiter im Keller gearbeitet. Die Netzwerk und SAN Verkabelung macht nun ebenfalls große Fortschritte und es echt geil aus! Ich finde strukturierte Verkabelung richtig cool. :) So kann sich das Rack wirklich sehen lassen. Wird Zeit das ich die restlichen Kabel erhalte, einen Schwung frische Kabelbinder und einen Kabelarm für den DL380G4 wünsche ich mir auch. :D

Umbau Keller – Fortsetzung #2

Es geht weiter im Keller… ich arbeite fleißig an der ordentlichen Stromversorgung. ;) Und langsam kann es sich sehen lassen. Alle vorbestimmten Server haben nun auch ihren Platz im Rack gefunden. Ein paar Kleinigkeiten (Kabel, etc.) sind noch auf dem Weg, damit ich den Umbau bald abschließen kann.

Na gut, Bilder sprechen bekanntlich mehr als Worte. :)

Stay tuned. :D

Umbau Keller

Es wird mal wieder Zeit für ein Update. ;) Die letzten Wochen war ich arg beschäftigt, so das ich keine Gelegenheiten hatte meinen Blog zu pflegen. Jetzt aber gibt es wieder Neuigkeiten aus meinem Keller!

Die letzte Zeit war ich etwas unglücklich mit meinem Rackaufbau. Allen voran das mein altes p-Class Blade System quasi ausrangiert war. Darum beschloss ich die Woche alles komplett umzubauen. In diesem Zuge habe ich mir auch vorgenommen meine PDUs fest zu installieren, damit die Stromversorgung ordentlich ausgeführt ist. Heute habe ich damit gestartet, das Rack leer zu räumen, die PDUs einschließlich Verkabelung anzubringen und meine beiden Blade Systeme zu platzieren. Wie ich finde sieht das Ergebnis des heutigen Tages ziemlich fett aus. :)

Morgen geht es dann weiter mit der EVA und nächste Woche schließe ich hoffentlich die komplette Verkabelung ab! Ich kann es kaum erwarten die Sicherungen umzulegen. :D

Keller 2.0 – Aktuelles aus dem Keller

Es wird mal wieder Zeit für ein Keller-Update. ;)

Nach sehr langem Warten konnte ich heute endlich mein eigenes Virtual Connect 1/10 Gb Ethernet Modul entgegen nehmen. Und dieses mal hatte ich deutlich mehr Glück als mit dem 4 Gb Fibre Channel Modul, denn das Ethernet Modul funktioniert einwandfrei. Nur die Firmware ist steinalt. ;) Aber damit hab ich kein Problem. Und das gute Stück sieht so aus:

DSC03330

Ansonsten hat sich auch ein eigener BL465c G5 Blade Server in mein BladeSystem verirrt. ;) Die Ausstattung ist allerdings noch recht mau, d.h. 1 GB RAM und ein Opteron 2216 HE. Passende Mezzanine FC HBA Karten habe ich schon vor einiger Zeit in der Bucht für wenig Geld ersteigert, d.h. Fibre Channel Anbindung ist zum Glück kein Problem.

Daneben stecken ein paar weitere Blades aus Arbeit in meinem C7000 Enclosure. Derzeit arbeite ich nämlich an einer Cloud Computing Umgebung und zusammen mit einem Arbeitskollegen testen wir auch ein neues DMZ Konzept und Microsoft Exchange 2010. Ist schon ein schöner Anblick wenn da mal so ein paar Blades eingesteckt sind. :) Irgendwann krieg ich das C7000 schon noch voll!!! ;)

DSC03331

Schon schick, wah? ;) Ich kann mich jedenfalls nicht satt genug daran sehen.

NetApp clonen? ;)

Was tun wenn man 3 Stück Sun StorEdge 6020 Arrays (eigentlich 6 Stück. :D) mit je 14 Stück 146 GB Fibre Channel Festplatten hat? Eigentlich klar, die Arrays konfigurieren und an das SAN klemmen. Tja, was ist aber wenn die installierten RAID Controller einfach nur grausam in der Bedienung sind, man maximal 2 Volumes pro Disk Array erstellen kann und die Geschwindigkeit mit ZFS einfach nur lausig ist?

Dumm in die Wäsche schauen? ;)

Ich habe versucht 4 Volumes (entspricht 2 Disk Arrays und 28 Platten) in diversen Konfigurationen (verschiedene Kombinationen aus Block Size, RAID-Level, etc.) passend für ZFS zu konfigurieren. Alle Ergebnisse waren ziemlich ernüchternd und der Weg dahin langwierig und schwierig.

Keine Lust mehr….

Die neue Idee war fix geboren. Ein StorEdge 6020/6120 kann auch zum Expansion Disk Array umgebaut werden, d.h. Controller ausbauen. Das riecht doch offensichtlich nach FC-AL. Für viel Geld hab ich mir also spezielle Kabel für die HSSDC2 Anschlüsse besorgt. Doch alle Versuche das 6020 als JBOD zu nutzen sind kläglich gescheitert.

Frust macht sich breit. :-/

Lange Zeit passierte nichts mehr und es schwirrte lediglich die Idee in meinem Kopf, die 42 Platten irgendwie in ein EMC CLARiiON CXx00 zu stecken. Nur ohne aktuelle Flares schwierige Sache. Hinzu kommt die Unsicherheit ob eine EMC CLARiiON die Platten überhaupt erkennt. Meine HP EVA tut es jedenfalls nicht so recht. Sie erkennte zwar die Platten, aber verweigert dessen Nutzung! Wieder einmal keimte der Gedanke JBOD auf. Aber woher ein JBOD nehmen? Fibre Channel JBODs sind halt alles andere als gängig. Was tun?

Ins kalte Wasser springen? ;)

Nach einigen Überlegungen und Recherchen sagte mir mein Bauch, NetApp macht doch eigentlich auch nichts anderes, als das was ich im Sinn habe? Die haben schlaue Software in ihren Filer Köpfen und brauchen doch eigentlich nur dumme JBODs mit vielen schnellen Platten, oder? Nachdem ich auch noch Verkabelungspläne für einen NetApp FAS3050 entdeckte, war ich mir immer sicherer, dass das NetApp DS14 mk2 Disk Enclosure ein dummes FC-AL JBOD sein muss. Lediglich die IO Module auf der Rückseite bereiteten mir kurzfristig Bauchschmerzen. Nach einigem hin und her entschloß ich mich für das sog. ESH2 Modul. Wie ich finde, eine gute Entscheidung. ;)

DSC03277

Aus UK habe ich mir dann für einen fairen Preis ein NetApp DS14 mk2 Disk Enclosure mit 2 Stück ESH2 Modulen besorgt. Frisch angekommen, habe ich das Enclosure mit 14 Platten aus einer meiner 6020 Arrays bestückt. In die Sun Fire X4100 hab ich einen Emulex FC HBA installiert und diesen direkt mit dem IO Modul verbunden. Das Ergebnis sieht so aus:

locadm@ius002:~$ pfexec luxadm probe
Found Fibre Channel device(s):
Node WWN:500000e010731c30  Device Type:Disk device
Logical Path:/dev/rdsk/c0t500000E010731C30d0s2
Node WWN:2000000087014896  Device Type:Disk device
Logical Path:/dev/rdsk/c0t2000000087014896d0s2
Node WWN:500000e010730550  Device Type:Disk device
Logical Path:/dev/rdsk/c0t500000E010730550d0s2
Node WWN:2000000c509a551e  Device Type:Disk device
Logical Path:/dev/rdsk/c0t2000000C509A551Ed0s2
Node WWN:2000000c509a5621  Device Type:Disk device
Logical Path:/dev/rdsk/c0t2000000C509A5621d0s2
Node WWN:500000e0107325c0  Device Type:Disk device
Logical Path:/dev/rdsk/c0t500000E0107325C0d0s2
Node WWN:20000000871a4524  Device Type:Disk device
Logical Path:/dev/rdsk/c0t20000000871A4524d0s2
Node WWN:2000000c509a553f  Device Type:Disk device
Logical Path:/dev/rdsk/c0t2000000C509A553Fd0s2
Node WWN:500000e0107323e0  Device Type:Disk device
Logical Path:/dev/rdsk/c0t500000E0107323E0d0s2
Node WWN:2000000c509a4f64  Device Type:Disk device
Logical Path:/dev/rdsk/c0t2000000C509A4F64d0s2
Node WWN:500000e010730b90  Device Type:Disk device
Logical Path:/dev/rdsk/c0t500000E010730B90d0s2
Node WWN:20000000871ae23b  Device Type:Disk device
Logical Path:/dev/rdsk/c0t20000000871AE23Bd0s2
Node WWN:2000000c50860c5d  Device Type:Disk device
Logical Path:/dev/rdsk/c0t2000000C50860C5Dd0s2
Node WWN:500000e0107311b0  Device Type:Disk device
Logical Path:/dev/rdsk/c0t500000E0107311B0d0s2

Ein paar Tests belegen mir eine Schreibgeschwindigkeit von durchschnittlich 140 MByte/Sek. und eine Lesegeschwindigkeit von 210 MByte/Sek. Cool ! Es wird Zeit für 3 weitere NetApp DS14 mk2 Disk Enclosures. ;) Die neue Idee ist geboren und schimpft sich:

“NoNapp Data ONZFS”

:D :D :D

Alles weitere demnächst hier in diesem Kino. ;)