Category Archives: Datacenter@Home

Umbau Keller – Abgeschlossen

Am Wochenende war es nun soweit. Ich habe meinen bestehenden SMC Switch soweit vorkonfiguriert, im Anschluss ins Rack geschraubt, die Verkabelung vorgenommen und mein neues Rack in Betrieb genommen. Meine Umbauten sind demnach für das erste soweit abgeschlossen. Lediglich der HP ProLiant DL380 G4 Rackserver verweilt noch ohne Kabel im Rack. Ob ich den Server tatsächlich in Betrieb nehme, steht in den Sternen.

Just nach dem Strom auf den Systemen war, hab ich die Firmware meines c-Class BladeSystems auf Stand gebracht. Die Virtual Connect Konfigurationen meinen neuen Einstellungen des Netzwerks und des SANs angeglichen. Danach habe ich mich ein Weile mit dem Aufsetzen eines neuen Command View EVA Servers auf Basis eines BL465c Blade Servers beschäftigt. Damit dem Server nicht all zu langweilig wird, hab ich zusätzlich den VMware vCenter Server installiert.

Soweit bin ich sehr zufrieden mit meinem Umbau. Die neue Stromversorgung und die vollständige Neuverkabelung haben sich gelohnt. Mein Rack sieht sehr aufgeräumt und ordentlich aus. Fehlen lediglich die Seitenwände und der Umstieg auf einen vernünftigen Cisco Layer-3 1Gbit Switch, z.B. den Cisco Catalyst 3750G-24TS. Dieser will aber teuer bezahlt werden und ich hab doch noch so viele andere Wünsche. ;)

Umbau Keller – Fortsetzung #5

Der Umbau neigt sich dem Ende! Die neue Stromversorgung ist abgeschlossen und verrichtet Ihren Dienst. :) Ich habe sämtliche Sicherungen der PDUs umgelegt und alle Systeme werden wie geplant einwandfrei mit Strom versorgt. Hölle, ist das Rack laut. ;) Beide Blade Systeme machen zusammen mächtig krach, ganz zu schweigen von der Umdrehungsgeschwindigkeit meines Stromzählers. :D Das Lichterspiel ist der Wahnsinn, da lacht mein Herz. ;) Und beim Anblick des HP Logos sowieso…

Nun ist es an der Zeit, den Netzwerkumbau abzuschließen. Neue IP Bereiche die eine bessere Separierung von Netzen und weit aus höhere Flexibilität bieten stehen auf dem Plan. Ein vernünftiges MSTP Konzept soll für optimale Performance bzw. Auslastung der vorhanden Anschlüsse sorgen. Immerhin plane ich auch einen vermehrten Einsatz von iSCSI und NFS.

Im ersten Schritt soll dafür mein Nortel Layer-3 Switch wieder zum Leben erweckt werden. Aber noch im Laufe des Jahres werde ich sämtliches Netzwerk Equipment konsequent durch Cisco ersetzen. Warum dieser kostenintensive Schritt? Na ganz einfach, meine Freundin kann mit Cisco Switchen und Routern sehr gut umgehen. Damit werde ich das Thema Netzwerk in meinem Keller sukzessive an meine Freundin abgeben. ;) So haben wir zu zweit Spaß an meinen schönen Spielsachen. :D

Stay tuned. ;)

Umbau Keller – Fortsetzung #4

Die vollständige Stromverkabelung im Rack ist nun abgeschlossen. Einzige Ausnahme bleibt der DL380G4 Server, da mir dafür der Kabelmanagementarm fehlt. Morgen nur noch die richtigen IEC309 32A Dosen an die Wand montieren und dann kann ich doch tatsächlich Strom auf die zwei PDUs geben. ;)

Die SAN Verkabelung habe ich nochmal überarbeitet und ist ebenfalls soweit abgeschlossen. Es folgen in naher Zukunft ein paar weitere LWL Strippen für das p-Class Blade Enclosure. Doch dazu fehlt mir derzeit noch das Storage Connectivity Kit. ;)

Zum Spaß hab ich mal probeweise eine Seitenwand hingehalten. Dabei musst ich noch ein paar Korrekturen in meiner Stromverkabelung vornehmen. Damit die Seitenwand nicht so nackt aussieht hab ich schon eine schicke Idee im Sinn. :)

Langsam aber sicher gefällt mir mein Umbau immer besser… Bin gespannt auf das Endergebnis und auf den ersten Betrieb! ;)

Umbau Keller – Fortsetzung #3

Ich konnte es nicht lassen und habe weiter im Keller gearbeitet. Die Netzwerk und SAN Verkabelung macht nun ebenfalls große Fortschritte und es echt geil aus! Ich finde strukturierte Verkabelung richtig cool. :) So kann sich das Rack wirklich sehen lassen. Wird Zeit das ich die restlichen Kabel erhalte, einen Schwung frische Kabelbinder und einen Kabelarm für den DL380G4 wünsche ich mir auch. :D

Umbau Keller – Fortsetzung #2

Es geht weiter im Keller… ich arbeite fleißig an der ordentlichen Stromversorgung. ;) Und langsam kann es sich sehen lassen. Alle vorbestimmten Server haben nun auch ihren Platz im Rack gefunden. Ein paar Kleinigkeiten (Kabel, etc.) sind noch auf dem Weg, damit ich den Umbau bald abschließen kann.

Na gut, Bilder sprechen bekanntlich mehr als Worte. :)

Stay tuned. :D

Umbau Keller

Es wird mal wieder Zeit für ein Update. ;) Die letzten Wochen war ich arg beschäftigt, so das ich keine Gelegenheiten hatte meinen Blog zu pflegen. Jetzt aber gibt es wieder Neuigkeiten aus meinem Keller!

Die letzte Zeit war ich etwas unglücklich mit meinem Rackaufbau. Allen voran das mein altes p-Class Blade System quasi ausrangiert war. Darum beschloss ich die Woche alles komplett umzubauen. In diesem Zuge habe ich mir auch vorgenommen meine PDUs fest zu installieren, damit die Stromversorgung ordentlich ausgeführt ist. Heute habe ich damit gestartet, das Rack leer zu räumen, die PDUs einschließlich Verkabelung anzubringen und meine beiden Blade Systeme zu platzieren. Wie ich finde sieht das Ergebnis des heutigen Tages ziemlich fett aus. :)

Morgen geht es dann weiter mit der EVA und nächste Woche schließe ich hoffentlich die komplette Verkabelung ab! Ich kann es kaum erwarten die Sicherungen umzulegen. :D

Keller 2.0 – Aktuelles aus dem Keller

Es wird mal wieder Zeit für ein Keller-Update. ;)

Nach sehr langem Warten konnte ich heute endlich mein eigenes Virtual Connect 1/10 Gb Ethernet Modul entgegen nehmen. Und dieses mal hatte ich deutlich mehr Glück als mit dem 4 Gb Fibre Channel Modul, denn das Ethernet Modul funktioniert einwandfrei. Nur die Firmware ist steinalt. ;) Aber damit hab ich kein Problem. Und das gute Stück sieht so aus:

DSC03330

Ansonsten hat sich auch ein eigener BL465c G5 Blade Server in mein BladeSystem verirrt. ;) Die Ausstattung ist allerdings noch recht mau, d.h. 1 GB RAM und ein Opteron 2216 HE. Passende Mezzanine FC HBA Karten habe ich schon vor einiger Zeit in der Bucht für wenig Geld ersteigert, d.h. Fibre Channel Anbindung ist zum Glück kein Problem.

Daneben stecken ein paar weitere Blades aus Arbeit in meinem C7000 Enclosure. Derzeit arbeite ich nämlich an einer Cloud Computing Umgebung und zusammen mit einem Arbeitskollegen testen wir auch ein neues DMZ Konzept und Microsoft Exchange 2010. Ist schon ein schöner Anblick wenn da mal so ein paar Blades eingesteckt sind. :) Irgendwann krieg ich das C7000 schon noch voll!!! ;)

DSC03331

Schon schick, wah? ;) Ich kann mich jedenfalls nicht satt genug daran sehen.

NetApp clonen? ;)

Was tun wenn man 3 Stück Sun StorEdge 6020 Arrays (eigentlich 6 Stück. :D) mit je 14 Stück 146 GB Fibre Channel Festplatten hat? Eigentlich klar, die Arrays konfigurieren und an das SAN klemmen. Tja, was ist aber wenn die installierten RAID Controller einfach nur grausam in der Bedienung sind, man maximal 2 Volumes pro Disk Array erstellen kann und die Geschwindigkeit mit ZFS einfach nur lausig ist?

Dumm in die Wäsche schauen? ;)

Ich habe versucht 4 Volumes (entspricht 2 Disk Arrays und 28 Platten) in diversen Konfigurationen (verschiedene Kombinationen aus Block Size, RAID-Level, etc.) passend für ZFS zu konfigurieren. Alle Ergebnisse waren ziemlich ernüchternd und der Weg dahin langwierig und schwierig.

Keine Lust mehr….

Die neue Idee war fix geboren. Ein StorEdge 6020/6120 kann auch zum Expansion Disk Array umgebaut werden, d.h. Controller ausbauen. Das riecht doch offensichtlich nach FC-AL. Für viel Geld hab ich mir also spezielle Kabel für die HSSDC2 Anschlüsse besorgt. Doch alle Versuche das 6020 als JBOD zu nutzen sind kläglich gescheitert.

Frust macht sich breit. :-/

Lange Zeit passierte nichts mehr und es schwirrte lediglich die Idee in meinem Kopf, die 42 Platten irgendwie in ein EMC CLARiiON CXx00 zu stecken. Nur ohne aktuelle Flares schwierige Sache. Hinzu kommt die Unsicherheit ob eine EMC CLARiiON die Platten überhaupt erkennt. Meine HP EVA tut es jedenfalls nicht so recht. Sie erkennte zwar die Platten, aber verweigert dessen Nutzung! Wieder einmal keimte der Gedanke JBOD auf. Aber woher ein JBOD nehmen? Fibre Channel JBODs sind halt alles andere als gängig. Was tun?

Ins kalte Wasser springen? ;)

Nach einigen Überlegungen und Recherchen sagte mir mein Bauch, NetApp macht doch eigentlich auch nichts anderes, als das was ich im Sinn habe? Die haben schlaue Software in ihren Filer Köpfen und brauchen doch eigentlich nur dumme JBODs mit vielen schnellen Platten, oder? Nachdem ich auch noch Verkabelungspläne für einen NetApp FAS3050 entdeckte, war ich mir immer sicherer, dass das NetApp DS14 mk2 Disk Enclosure ein dummes FC-AL JBOD sein muss. Lediglich die IO Module auf der Rückseite bereiteten mir kurzfristig Bauchschmerzen. Nach einigem hin und her entschloß ich mich für das sog. ESH2 Modul. Wie ich finde, eine gute Entscheidung. ;)

DSC03277

Aus UK habe ich mir dann für einen fairen Preis ein NetApp DS14 mk2 Disk Enclosure mit 2 Stück ESH2 Modulen besorgt. Frisch angekommen, habe ich das Enclosure mit 14 Platten aus einer meiner 6020 Arrays bestückt. In die Sun Fire X4100 hab ich einen Emulex FC HBA installiert und diesen direkt mit dem IO Modul verbunden. Das Ergebnis sieht so aus:

locadm@ius002:~$ pfexec luxadm probe
Found Fibre Channel device(s):
Node WWN:500000e010731c30  Device Type:Disk device
Logical Path:/dev/rdsk/c0t500000E010731C30d0s2
Node WWN:2000000087014896  Device Type:Disk device
Logical Path:/dev/rdsk/c0t2000000087014896d0s2
Node WWN:500000e010730550  Device Type:Disk device
Logical Path:/dev/rdsk/c0t500000E010730550d0s2
Node WWN:2000000c509a551e  Device Type:Disk device
Logical Path:/dev/rdsk/c0t2000000C509A551Ed0s2
Node WWN:2000000c509a5621  Device Type:Disk device
Logical Path:/dev/rdsk/c0t2000000C509A5621d0s2
Node WWN:500000e0107325c0  Device Type:Disk device
Logical Path:/dev/rdsk/c0t500000E0107325C0d0s2
Node WWN:20000000871a4524  Device Type:Disk device
Logical Path:/dev/rdsk/c0t20000000871A4524d0s2
Node WWN:2000000c509a553f  Device Type:Disk device
Logical Path:/dev/rdsk/c0t2000000C509A553Fd0s2
Node WWN:500000e0107323e0  Device Type:Disk device
Logical Path:/dev/rdsk/c0t500000E0107323E0d0s2
Node WWN:2000000c509a4f64  Device Type:Disk device
Logical Path:/dev/rdsk/c0t2000000C509A4F64d0s2
Node WWN:500000e010730b90  Device Type:Disk device
Logical Path:/dev/rdsk/c0t500000E010730B90d0s2
Node WWN:20000000871ae23b  Device Type:Disk device
Logical Path:/dev/rdsk/c0t20000000871AE23Bd0s2
Node WWN:2000000c50860c5d  Device Type:Disk device
Logical Path:/dev/rdsk/c0t2000000C50860C5Dd0s2
Node WWN:500000e0107311b0  Device Type:Disk device
Logical Path:/dev/rdsk/c0t500000E0107311B0d0s2

Ein paar Tests belegen mir eine Schreibgeschwindigkeit von durchschnittlich 140 MByte/Sek. und eine Lesegeschwindigkeit von 210 MByte/Sek. Cool ! Es wird Zeit für 3 weitere NetApp DS14 mk2 Disk Enclosures. ;) Die neue Idee ist geboren und schimpft sich:

“NoNapp Data ONZFS”

:D :D :D

Alles weitere demnächst hier in diesem Kino. ;)

Sun Fire X4100 wiederbelebt

Nachdem ich ja gestern einen Tag voller Pleiten, Pech und Pannen durchlitten habe, sieht es heute schon wieder deutlich sonniger aus. ;) Ein Highlight des Tages ist, dass ich das Problem der Sun Fire X4100 lokalisieren und beheben könnte. Nachdem ich die Batterie und alle DIMM Bausteine aus- und wieder eingebaut hatte, leuchtete doch endlich mal die Warn LED an der Front auf. Hurra, ein Lebenszeichen!!! Dem ILOM Log nach handelt es sich um zwei defekte DIMM Riegel, die ich unverzüglich ausgewechselt habe. Danach sprang Kiste auch an, als wäre nichts gewesen. :)

OpenSolaris ist natürlich installiert, ein rpool Mirror zur Sicherheit und der Local Repository Server eingerichtet. Endlich kann es weiter gehen. ;)

locadm@ius002:~# uname -a
SunOS ius002 5.11 snv_111b i86pc i386 i86pc
locadm@ius002:~# prtdiag -v
System Configuration: Sun Microsystems Sun Fire X4100 Server
BIOS Configuration: American Megatrends Inc. 080010  08/01/2006
BMC Configuration: IPMI 2.0 (KCS: Keyboard Controller Style)

==== Processor Sockets ====================================

Version                          Location Tag
-------------------------------- --------------------------
Dual Core AMD Opteron(tm) Processor 285 H0
Dual Core AMD Opteron(tm) Processor 285 H1
Dual Core AMD Opteron(tm) Processor 285 H2
Dual Core AMD Opteron(tm) Processor 285 H3

==== Memory Device Sockets ================================

Type        Status Set Device Locator      Bank Locator
----------- ------ --- ------------------- ----------------
DDR         in use 0   H0_DIMM0            BANK0
DDR         in use 0   H0_DIMM1            BANK1
DDR         in use 0   H0_DIMM2            BANK2
DDR         in use 0   H0_DIMM3            BANK3
DDR         in use 0   H1_DIMM0            BANK4
DDR         in use 0   H1_DIMM1            BANK5
unknown     empty  0   H1_DIMM2            BANK6
unknown     empty  0   H1_DIMM3            BANK7

==== On-Board Devices =====================================
 LSI serial-ATA #1
 Gigabit Ethernet #1
 Gigabit Ethernet #2
 ATI Rage XL VGA

==== Upgradeable Slots ====================================

ID  Status    Type             Description
--- --------- ---------------- ----------------------------
0   in use    PCI-X            PCIX SLOT0
1   available PCI-X            PCIX SLOT1
2   available PCI-X            PCIX SLOT2
3   available PCI-X            PCIX SLOT3
4   available PCI-X            PCIX SLOT4
locadm@ius002:~#