Kan een dag nog slechter uitpakken dan dit?

5 mei 2006 zal waarschijnlijk wel in mijn boeken gaan staan als de slechtste dag van 2006.

Rond drie uur 's ochtends werd ik uit mijn bed gebeld vanwege een uitval van een netwerkprobleem. Alhoewel dit probleem geen invloed had op de sites van ilsemedia was mijn nachtrust wel goed verpest. Gelukkig had ik de vrijdag vrijgenomen.

Althans, dat dacht ik...

Rond half tien word ik door een klant van mijn eigen hostingbedrijfje gebeld dat de webserver plat ligt. Op dat moment sprong ik (letterlijk) uit bed om te kijken wat er aan de hand was.

Het lukt mij in te loggen op mijn server, maar alles wat ik deed resulteerde in een I/O foutmelding of een 'bestand niet gevonden'-melding. Dit kon maar 1 ding betekenen: het RAID-5 redundante opslagcluster is ermee gekapt. Doorgaans betekent dat "zwaai maar dag met je handje naar je data..."

Samen met de mede-eigenaar van het bedrijfje zijn plannen gemaakt om het directe probleem op te lossen. Hij zou langskomen terwijl ik een (toevalligerwijs) net verkregen server zou klaarmaken om in ieder geval op afstand het apparaat verder in te richten.

na een lange tocht op de A4 met een gruwelijk lange file (en bijna mijzelf compleet buiten de auto te hebben gesloten bij een tankstation) zijn we bijna een uur en een kwartier later op het serverpark gearriveerd.

Toen we bij de machine aankwamen zagen we dat onze (net gemonteerde) machine dienen als plank voor 5 andere machines! Gezien het feit dat deze server slechts 1U (2,54cm) hoog is en er redelijk vitale compontenten net onder de kap zitten kon ik me alleen maar indenken wat er allemaal gesloopt zou zijn. De eigenaar van de co-locatie zou later komen zodat we de nieuwe machine konden plaatsen en gaf ons dus de gelegenheid om hem eens goed te horen over de gebruiken van hem en zijn klanten omtrent montage van servers.

Bij het aanhaken van een monitor en toetsenbord bleek al snel dat het RAID-5 cluster totaal en direct was gefaald. Dat klinkt drastisch, maar voor ons was dit een geluk bij een cataclysme; als het direct compleet is gecrashed betekent dat de kans op datacorruptie minimaal was.

Na een beetje spelen met de harde schijf sloten kregen we het RAID-5 cluster weer in de praat in degraded modus (dat betekent zoveel als: je kan de data benaderen maar het is niet meer fout-tolerant) We konden nu in ieder geval de laatste gegevens van de server trekken naar de nieuwe machine.

In de tussentijd bleek dat ik ook al krampen en diarree. Echt fantastisch! Hier zat ik op te wachten...

Na een periode van selectief backuppen hadden we alle relevante data veiliggesteld op de nieuwe machine. Mijn collega moest daarna weer terug naar zijn werk (hij was 's ochtends vertrokken met een melding richting zijn baas van 1 minuut voor vertrek). Ik ben gebleven om de eigenaar van de co-locatie aan te spreken, de nieuwe server te plaatsen en de oude server te herplaatsen.

Na een gesprek met de beste man hebben we de nieuwe server geplaatst en de oude server tussen de andere servers weggehaald en de rails gedemonteerd. Daarna ben ik aan de slag gegaan om de rails op de nieuwe plek te hangen... Dat zou niet al te lang duren... dacht ik...

Uiteraard was op de nieuwe locatie het onmogelijk de rails op dezelfde manier op te hangen als voorheen, dus moest ik alles anders in elkaar schroeven. Dit resulteerde in veel schoeven die onder de systeemvloer verdwenen, zodat ik met een tegeltrekker onder de systeemvloer moest kruipen om deze terug te krijgen.

In de tussentijd (tijdens een pauze) probeerde ik mijn vriendin te bellen, maar kreeg het voor elkaar mijn simkaart te blokkeren. (Briljant, dat had ik nog net nodig) De receptie was echter vriendelijk genoeg om mij even de telefoon te lenen. Ik kreeg een nogal boze vriendin aan de lijn die niets meer van mij had vernomen voor een aantal uur; door al de 'lol' die ik had met de rails en alles was ik de tijd vergeten.

Dus stond ik daar, vies van het vuil onder de systeemvloer, vettig van de rails, hondsmoe, met een vriendin en mijn darmen van streek. Je kan veilig zeggen dat ik me nogal miserabel voelde.

Uiteindelijk heb ik alles in elkaar weten te zetten en de oude machine weer opgehangen. De derde schijf kreeg ik niet meer aan de praat. Uiteindelijk ben ik rond acht uur 's avonds ben ik weer richting huis vertrokken.

Ik had een vrije dag opgenomen om een LAN-party voor te bereiden. In plaats daarvan heb ik de LAN-party afgeblazen en mag ik dus klussen aan de server. In kort, mijn weekend is zo goed als verpest.

Zonde van twee opgenomen vakantiedagen.