Keller Update…
… aktuelle Bilder vom BladeSystem sind nun online. Klick hier.
HP ProLiant BL20p G3 + OpenSolaris 2009.06
… oder soll ich schreiben OpenSolaris 2009.06 + Broadcom NetXtreme 57xx ? 😉
Einige Zeit bevor ich hier einen BL20p G3 Blade Server mit OpenSolaris betankte, hatte ich schon so meine Schwierigkeiten mit einem Asus P5MT-MX/C Mainboard und dessen on board Broadcom 5753 GBit LAN Adapter. Ich hatte das Problem allerdings gelöst und die Vorgehensweise erstmal aus meinem Kopf gestrichen. Ein schwerer Fehler wie sich heute herausstellte. 😉
Diese Woche beschloss ich auf meinen Blade Server OpenSolaris 2009.06 zu installieren. Gesagt getan. Nach erfolgreicher Installation habe ich ordnungsgemäß auf eine feste IP Adresse umgestellt (demnächst nachzulesen auf meinem Wiki) und meinen DNS Server entsprechend konfiguriert. Zeit für einen Reboot. In Vorfreude auf die OpenSolaris Installation, denn mit Linux und Windows hab ich es nicht so, wollte ich mich mit SSH verbinden.
Ergebnis: „connection refused“
Fuck !
Nach einiger Zeit war dann doch eine SSH Verbindung möglich, aber für gerade mal 10 Sekunden. Danach wieder „connection refused“… Ich hatte keinen Bock mehr, war ja auch schon halb eins Nacht. 😉
*PAUSE*
Heute habe ich mich dem Problem „connection refused“ wieder angenommen. Nach einigen Versuchen und Umbauten wurde ich dann in meiner Vermutung, dass es eigentlich nur noch ein Treiber Problem sein kann, immer mehr bestätigt. Im Gespräch mit ein paar Leuten schoß mir dann aus dem Nichts heraus der Gedanke „Mensch war da nicht was mit dem Asus Board und dem bge Treiber?“ durch denn Kopf. Die Lösung war zum greifen nah. 😉
# pkg uninstall SUNWbge # cd /tmp # wget http://www.tschokko.de/sol86-11.7.2.zip # unzip sol86<TAB> # cd sol86<TAB> # pkgadd -d ./BRCMbcme.pkg # mv /etc/hostname.bge0 /etc/hostname.bcme0 # reboot
Das war’s… 😉
Offensichtlich hat der OpenSolaris bge Treiber ein paar Probleme mit Broadcom Adaptern. Darum hab ich diesen Treiber deinstalliert und den Solaris 10 x86/x64 Treiber von Broadcom installiert. Nun rennt OpenSolaris ohne Probleme auf meinem BL20p G3 Server… 🙂 Wie man den HP/Compaq SmartArray Raid Treiber (cpgary3) zum Installationszeitpunkt unter OpenSolaris einbindet, erzähle ich euch demnächst. 😉
Rubrik Keller aktualisiert
Ich hab wieder ein paar Systeme hinzugefügt, als auch ein paar Sachen aktualisiert. 🙂 Neben HP und Sun Systeme hab ich nun die Seiten Netzwerk und SAN gestartet. Langsam aber sicher werden die Keller Seiten schon. Viel Spaß beim Anschauen.
Blade Server Upgrade
Wird mal wieder Zeit für einen Artikel aus meinem Heim-RZ. 😉
Habe am Freitag vier HP BL20p G3 Server bekommen und natürlich sofort ausprobiert. :)Bilder sprechen mehr als Worte:
Details zur Ausstattung der Geräte demnächst in meiner Keller Rubrik. Ansonsten hab ich das Wochenende mit VMware ESX 4i und Windows Server 2008 gespielt. Läuft hervorragend auf den Dinger, lediglich Arbeitsspeicher muss ich deutlich nachrüsten.
Rubrik Keller aktualisiert!
Habe nun mit der Beschreibung meiner Sun Systeme begonnen. Den Anfang macht die Sun Fire 3800. Hier geht’s zu den Sun Systemen.
BTW. Wer ein Sun Fire 3800 Rack übrig hat oder weiß wo ich eines bekommen kann, bitte Mail oder Kommentar !!! Danke… Ebenso nehme ich gerne ein altes graues StorEdge Rack für meine 6120 Arrays für einen fairen Preis entgegen. Nicht zu vergessen wenn möglich Abholung im Raum Bayern.
Solaris Jumpstart Server auf OpenSolaris 2009.06
Da im Moment OpenSolaris 2009 auf meiner Sun Fire 3800 nicht booten will, hab ich mich dazu entschlossen fix Solaris 10 U7 aufzuspielen. Logischerweise macht man das über einen Jumpstart Server, sofern kein DVD-ROM vorhanden ist. Leider ist der Jumpstart Server nicht so ohne weiteres auf einer OpenSolaris 2009.06 Maschine eingerichtet. Also musste wie so oft Freund Google herhalten und die zwei wesentlichen Probleme möchte ich hier natürlich verewiegen.
Problem 1: Kein Bootparams Daemon (RARP)
Entgegen der Empfehlung die Pakete SUNWbsu und SUNWbsr zu installieren, genügt ein:
# pkg install SUNWbs
Problem 2: Timed out waiting for TFTP reply
Der TFTP Daemon unter OpenSolaris 2009.06 muss wie folgt angepasst werden:
# echo tftp dgram udp6 wait root /usr/sbin/in.tftpd in.tftpd -s /tftpboot >> /etc/inetd.conf # inetconv
ggf. noch ein:
# svcadm restart svc:/network/tftp/udp6:default
Joa und das wars eigentlich schon. Der Rest ist wie gehabt. 😉 Im Schnelldurchlauf heißt das:
./setup_install_server /export/installserver/sol-10-xx echo 08:00:20:e9:3a:fc ius0013 >> /etc/ethers echo 192.168.209.13 ius0013 >> /etc/hosts ./add_install_client ius0013 sun4u
OpenSolaris Local Repository Mirror
Quelle: http://blogs.sun.com/observatory/entry/local_repository_mirror
In my previous entry I wrote about creating a portable version of the repository using a USB stick. That option is great for taking the repository on the road and even sharing it with folks at conferences where the Internet connection usually sucks.
However, a more practical use of this repository image to many of you may be setting up a local mirror. In this situation, you get the best of both words – fast access to the repository with continued access to updates as they become available.
Setting Up the Local Repository
If you haven’t already, download the ISO image of the repository (about 7 GB). After the download completes, mount the ISO:
pfexec mount -F hsfs `pfexec lofiadm -a ~/Download/osol-repo-0906-full.iso` /mnt
In order for the mount to persist across reboots, we’ll move it to a new file system, which we first need to create:
pfexec zfs create -o compression=on rpool/repo
Then copy the repository to the file system (this will take a little over an hour to complete):
bleonard@opensolaris:~$ pfexec rsync -aP /mnt/repo /rpool/repo
...
repo/updatelog/2009071315
67506 100% 150.17kB/s 0:00:00 (xfer#304859, to-check=1/609926)
repo/updatelog/2009071316
24956 100% 55.26kB/s 0:00:00 (xfer#304860, to-check=0/609926)
sent 6669164656 bytes received 8537336 bytes 1368521.77 bytes/sec
total size is 6630966532 speedup is 0.99
Configure the package server to use the local repository:
svccfg -s application/pkg/server pkg/inst_rool=/rpool/repo/repo (Korrektur: svccfg -s application/pkg/server setprop pkg/inst_root=/rpool/repo/repo ) svccfg -s application/pkg/server setprop pkg/readonly=true
Edit the repo/cfg_cache file, changing the origins property from http://pkg.opensolaris.org/release to http://<domainname>, where <domainname> is network accessible. For example:
origins = http://opensolaris
You can also choose a port number different from the default of 80, which I did because I’m running apache on port 80:
svccfg -s application/pkg/server setprop pkg/port=81
Then refresh the package server service to pick up the configuration changes and start it:
svcadm refresh application/pkg/server svcadm enable application/pkg/server
Accessing the Local Repository
Now all those wishing to use the local package server simply need to make the following change:
pfexec pkg set-publisher -m http://opensolaris:81 opensolaris.org
Which will result in the following:
bleonard@opensolaris:~$ pkg publisher PUBLISHER TYPE STATUS URI opensolaris.org (preferred) origin online http://pkg.opensolaris.org/release/ opensolaris.org (preferred) mirror online http://opensolaris:81/
If you only want to use the local repository, first remove the mirror:
pfexec pkg set-publisher -M opensolaris.org http://opensolaris:81
Then:
pfexec pkg set-publisher -O http://opensolaris:81 opensolaris.org
For more information see the README.
Sun Fire 3800 und StorEdge 6120
Nach langem Warten endlich wieder ein neuer Blog Eintrag. Heute war mir danach meine Sun Fire 3800 mal anzuwerfen um die kürzlich erworbenen Speicherriegel zu testen. In diesem Zug hab ich gleich ein Sun StorEdge 6120 dazu geklemmt. Von dem hübschen Ding soll unter anderem die Maschine booten. Ärgerlich ist lediglich das ich nur 1GBit/s FC HBAs in der Fire stecken habe, und das Array eigentlich 2GBit/s unterstützt. Na ja, irgendwann schnapp ich mir schon den 2GBit/s Compact PCI Emulex FC HBA. 😉
Beim Starten der Domain A ist beim Testen der Systemboards prompt ein defekter DIMM entdeckt worden (/N0/SB0/P3/B0/D1). Den habe ich natürlich gewechselt und die Tests sind erfolgreich durchgelaufen. Blöd ist nur das trotzdem die Reparatur LEDs leuchten. Hmmm…
In wenigen Minuten sollte meine OpenSolaris 2009.06 Repository DVD geladen sein, danach werde ich einen Local Repository Server einrichten und meine Sun Fire 3800 mit OpenSolaris betanken. 🙂 Mal schauen ob ich das heute noch schaffe. 😉
Der Banner darf natürlich nicht fehlen:
Sun Fire 3800 OpenFirmware version 5.20.12 (01/16/09 07:08) Copyright 2009 Sun Microsystems, Inc. All rights reserved. Use is subject to license terms. SmartFirmware, Copyright (C) 1996-2001. All rights reserved. 9216 MB memory installed, Serial #15284988. Ethernet address 8:0:20:e9:3a:fc, Host ID: 80e93afc.
Rubrik Keller gestartet!
In der Rubrik Keller präsentiere ich euch meine kleine IT Sammlung die ich in meinem Keller so betreibe. Einfach oben auf „Keller“ klicken und schon kann es los gehen.
Neuigkeiten und Veränderungen kündige ich selbstverständlich an.
Neues von der Storage Zicke
Vor einiger Zeit hab ich schon im Twitter von meiner Storage Zicke berichtet. Heute nun die ersten Informationen dazu in meinem Blog.
Bei der Storage Zicke handelt es sich um eine Sun StorEgde 6120 Array, auch bekannt unter dem Synonym T4 und damit dem Nachfolger der Sun StorEgde T3/T3+ Systeme. Seit einiger Zeit tummeln sich 3 von 6 Arrays, ausgestattet mit je 14 Stücke 146 GB 10k FC Festplatten, in meinem Keller. Verglichen zu meiner HP EVA 5000 sind die Geräte alles andere als intuitiv und flexibel, aber die riesige Menge an Platten macht den Einsatz in meinem Keller dennoch attraktiv.
Aktuell habe ich zwei Arrays zu einer Partner Group zusammengefasst, d.h. Master und Alternate Master Controller. Die Firmware ist auf den letzten Stand 3.2.7 geflashed und die zwei LWL Kabel klemmen direkt an einem Dual Port Fibre Channel HBA in einem HP ProLiant DL380 G4. Auf dem 6120 System hab ich ingesamt 4 LUNs gebildet. Jede LUN entspricht einem RAID-5 Volume bestehend aus 6 Platten + Hotspare. Alle 4 LUNs sind auf dem HP Server unter OpenSolaris 2009.06 zu einem ZFS RAID-Z zusammengefasst. Ergibt recht ausfallsichere 2,64 TB Kapazität. Mit aktiviertierter Komprimierung erreiche ich z.B. mit Bonnie++ recht imposante Ergebnisse. 🙂
locadm@ius0009:~# zpool status -v
pool: pool0
state: ONLINE
scrub: none requested
config:
NAME STATE READ WRITE CKSUM
pool0 ONLINE 0 0 0
raidz1 ONLINE 0 0 0
c0t60003BA4E89880004A6C598500010163d0 ONLINE 0 0 0
c0t60003BA4E89880004A68C2B70007FB7Bd0 ONLINE 0 0 0
c0t60003BA4E89880004A67867D000100CDd0 ONLINE 0 0 0
c0t60003BA4E89880004A678660000F380Fd0 ONLINE 0 0 0
locadm@ius0009:~# zpool list
NAME SIZE USED AVAIL CAP HEALTH ALTROOT
pool0 2.64T 554K 2.64T 0% ONLINE -
rpool 33.8G 5.47G 28.3G 16% ONLINE -
locadm@ius0009:~/src/bonnie++-1.03d# ./bonnie++ -d /scratch/ -s 8192m -u root
Using uid:0, gid:0.
Writing with putc()...done
Writing intelligently...done
Rewriting...done
Reading with getc()...done
Reading intelligently...done
start 'em...done...done...done...
Create files in sequential order...done.
Stat files in sequential order...done.
Delete files in sequential order...done.
Create files in random order...done.
Stat files in random order...done.
Delete files in random order...done.
Version 1.03d ------Sequential Output------ --Sequential Input- --Random-
-Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP /sec %CP
ius0009 8G 123144 75 218942 61 134630 54 99725 84 299677 46 8059 44
------Sequential Create------ --------Random Create--------
-Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
files /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP
16 13398 99 +++++ +++ 22955 99 14016 99 +++++ +++ 23678 99
Als nächstes Schritt werde ich mittels OpenSolaris COMSTAR über einen zweiten FC HBA bedarfsgerecht LUNs in meiner Fabric präsentieren. 😉 Daneben hole ich rasch die drei verbleibenden Arrays und vor allem ausreichend HSSDC2 Kabel ab, damit ich die Partner Group um zwei sog. Expansion Arrays erweitern kann. Danach sollte ich doch hier und da über 500 MB/s. sehen. 🙂
Zum Abschluß noch ein kleines Bildchen:
