Viele neue Freunde

Veröffentlicht: Montag, 11.06.2012 in Kunden

Ich saß zusammen mit Werner von Undzuau-Funddavon in unserem Zweimann-Büro. Dieses Büro war meine zwischenzeitliche Heimat für mehrere Wochen, da ich als externer Hilfsklave für ein großes Projekt bei einer international tätigen Bank mit angeschlossener Elektroabteilung tätig war; direkt am Sitz der Haupt-IT. Ich hatte die Aufgabe, die Migration unseres schönen Produkts Brötchenbringer auf eine tolle neue Version mit noch mehr Bling-Bling durchzuführen, und Werner war mir hierzu von Seiten des Unternehmens zugeteilt.

Während Werner sich gerade mal wieder mit der Beamtenmentalität seiner Kollegen herumschlagen musste, kämpfte ich – verbunden via Remotesupport – gemeinsam mit unserem Chefentwickler Vincent Egetarier gegen das störrische Testsystem. Einer der Clusternodes unseres Testsystems zickte rum und wir erlebten einen klassischen Fall von Split-Brain-Konfiguration, den wir uns nicht erklären konnten. Sämtliche Versuche, ihn wieder zurück in den Verbund zu bekommen, scheiterten. Schließlich einigten Vincent und ich uns darauf, dass wir das Testsystem herunterfahren und jeden Node einzeln von Hand nacheinander starten würden, so dass wir den Cluster wieder in einen konsistenten Zustand bekämen. Vincent verabschiedete sich daraufhin in die Mittagspause und versprach, sich anschließend zu melden, wenn der Cluster wieder laufen würde, damit wir weiter an dem neuen Modul, das sich der Kunde gewünscht hatte, testen könnten.

Nachdem das Telefonat beendet und die Remoteverbindung von Vincent getrennt war, klärte ich Werner über mein Vorhaben auf:

Werner, ich muss das Testsystem herunterfahren, anders bekommen wir den Cluster nicht mehr synchronisiert. Ich schreib mal eben eine Mail an die ganzen Testbenutzer, dass das System in 10 Minuten heruntergefahren wird und erst nach Freigabe durch mich wieder benutzbar ist. Fährst du dann den Cluster runter?

Mein Gegenüber sah mich gequält an, immer noch das Headset auf den Ohren:

Mach du das, die Zugangsdaten zum Virtualisierungscluster hast du ja. Ich hab gerade das Controlling dran und versuche denen klarzumachen, dass wir einen eigenen Cluster brauchen und die Tests nicht alle im Hauptsystem fahren können.

Mit einem Nicken drückte ich mein volles Verständnis aus, während Werner sich wieder dran machte, dem Beamtenwesen am anderen Ende die mit Klammern gepuderte Geldbörse zu öffnen. Der Hauptvirtualisierungscluster war zwar üppig bestückt, doch aufgrund interner Vorgaben durften Testsysteme auf diesem nur mit sehr untergeordneter Priorität laufen, damit sie die produktiven virtuellen Maschinen nicht behinderten. Da wir aber unter anderem regelmäßig Hochlasttests durchführen mussten, speziell um das neue Kundenwunsch-Modul zu testen, kollidierten so die Vorgaben mit unserem Bedürfnis. Die Ergebnisse unserer Tests waren damit auch alles andere als aussagekräftig und zeigten sogar merkwürdige Seiteneffekte, die so niemals auf dem vielfach höher belasteten Produktivsystem auftauchten. Ich vermutete sogar, dass unser aktuelles Problem nichtzuletzt diesem Umstand geschuldet war.

So schickte ich eine Mail an den Verteiler, dem die Gruppe von ca. 500 internationalen Testnutzern angehörten, und wies sie darauf hin, dass ich das Testsystem gleich herunterfahren würde und sie ihre Arbeiten darin beenden sollten. Sobald das System wieder verfügbar sei, würde ich sie informieren.

Gnädigerweise hatte man mir inzwischen Zugangsdaten zum Verwaltungssystem des Virtualisierungsclusters gegeben, damit ich nicht ständig stundenlang warten musste, wenn sich Werner in einem der zahlreichen Statusmeetings mit den anderen Admins befand.

Als der vereinbarte Zeitpunkt gekommen war, verband ich mich auf die Adminconsole des Clusters und schickte an alle Maschinen, die das Kürzel BBCN für BrötchenBringerClusterNode trugen den Befehl, sich herunterzufahren. Kaum waren alle Nodes heruntergefahren, starte ich den ersten Knoten BBCN-TS-01. Auf einmal sprang mir der reguläre Mailverteiler für das Produktivsystem in die Augen. Dröppelten da für gewöhnlich 10-15 Mails pro Stunde ein, waren es gerade gefühlte 100 pro Sekunde. Und es dauerte auch keine weiteren 30 Sekunden, bis einer von Werners Kollegen im Büro stand und ganz entsetzt fragte:

Scheiße! Was ist mit dem Brötchenbringer-Produktivsystem los, Maskierter? Das System reagiert auf einmal nimmer.

Und das war der Moment, in dem ich kreidebleich wurde und jedes Nachtgespenst gegen mich als Farbiger durchgegangen wäre.

Hektisch tippte ich auf der Console den Startbefehl für alle Maschinen mit dem Kürzel BBCN-PS ein und stellte nach 5 Minuten beruhigt fest, dass das Produktivsystem wieder ordnungsgemäß lief, während ich die Mails von erbosten Mitarbeitern – zumindest diejenigen, deren Sprache ich beherrschte – auf dem nationalen, europäischen und internationalen Mailverteiler las. Mit meinem Stopp-Befehl hatte ich auch das Produktivsystem komplett heruntergefahren und guten 10.000 Angestellten, die gerade auf der ganzen Welt verteilt mit Brötchenbringer arbeiteten, plötzlich den Teppich unter den Füßen weggezogen und mir somit auf einen Schlag 10.000 neue Freunde gemacht.

Auch Werner hatte zwischenzeitlich den Controller abgewürgt, der ebenfalls vom Ausfall betroffen war, und sah mich entgeistert an. Als meine betriebsame Hektik abebbte, fragte er mich, ob er mir einen Arzt rufen soll, so blass wie ich war, was ich jedoch verneinte und dann die Situation aufklärte. Im Eifer des Gefechts hatte ich nicht nur das Testsystem, sondern schlichtweg alle virtuellen Maschinen, auf denen unser Produkt lief, beendet.

Werner und sein Kollege wechselten ebenfalls die Farbe und wären ohne ihre kontrastreichen Kleidungsstücke nicht von der weißen Wand zu unterscheiden gewesen. Doch dann teilte ich ihnen mit, dass ich bereits wieder alle Systeme am Laufen hätte und sich der Schaden in Grenzen halten dürfte, da die Clients ja alle Kommandos puffern, wenn die Server nicht erreichbar sind. Dann entschieden wir uns, meinen Fehler zu unserem Vorteil zu nutzen. Während ich eine erklärende Mail an alle Verteiler schrieb, in der so viel stand, dass aufgrund einer plötzlich aufgetretenen Störung kurzzeitig die Server von Brötchenbringer nicht erreichbar waren, jetzt aber wieder alles normal läuft und auch keine Daten verloren gegangen sein dürften und wie man dies kontrollieren könnte, setzten sich Werner und sein Kollege mit dem Controller in Verbindung.

Sie erklärten dem Controller, dass jetzt das eingetreten sei, weswegen sie die ganze Zeit um ein neues System für die Tests betteln, nämlich dass einer meiner Tests das Produktivsystem trotz aller Schutzmaßnahmen zu sehr belastet. Glücklicherweise sei gerade ein erfahrener Consultant des Herstellers hier und hätte sofort die Problematik erkannt und korrigierend eingegriffen. Und da verstand der Studierte der Besserwisserlehre und gab die benötigten Mittel frei.

Nach dem Gespräch schauten die beiden mich an und fragten:

Jetzt zu dir. Wie viel ist dir unser Schweigen wert?

Der darauf folgende lustige Freitagabend mit den beiden knackte mit seiner zugehörigen Spesenabrechnung sogar kurzzeitig den Abrechnungsrekord des Außerirdischen.

Kommentare
  1. Wolfy sagt:

    Der große Herr und Meister von Brötchenbringer macht einen Fehler? Die Geschichte MUSS ja erstunken und erlogen sein. :D

  2. JK sagt:

    Beruhigend zu wissen, dass auch der Maskierte mal einen Fehler macht. Immerhin bist du ja ohne große Blamage aus der Sache rausgekommen.

    Ich habe mal einen ähnlichen Fall bei einer großen Versicherung erlebt:

    Ein Kollege erzählt beim Mittagessen: „Der Herr XY ist seit heute morgen der berühmteste Mann der IT-Abteilung“
    „Wieso?“
    „Er wollte einige Datensätze aus der Datenbank des Test-Systems löschen und hat statt dessen die Produktiv-Datenbank erwischt. Daraufhin musste die Datensicherung vom Vortag eingespielt werden und nun müssen alle Mitarbeiter ihre Daten von gestern nochmal eingeben“
    Herr XY ist eine Woche lang mit rotem Kopf durch die Firma gelaufen.

  3. breakpoint sagt:

    Tja, Testsysteme verhalten sich oft anders als Produktivsysteme, was das Testen ad absurdum führen kann.
    Aber diesmal ist ja alles gut ausgegangen.

  4. @Wolfy

    Ich hab ja keinen Fehler bei unserem Produkt gemacht. Eher in der darunterliegenden Infrastruktur. Insofern ist dies absolut vertretbar.

    @JK

    Natürlich mache ich Fehler und schiebe sie auf die Azubis. :D Schöne Geschichte deinerseits, kann ich hervorragend nachvollziehen.

    @breakpoint

    Aber du kennst das ja selbst, der Kunde besteht auf die Tests. Und des Kunden Wille ist mein Kontostand.

  5. breakpoint sagt:

    @Maskierter

    Klar. Der Kunde zahlt. Der Kunde kriegt, was er will.
    Wobei viele Kunden gar nicht so richtig wissen, was sie eigentlich genau wollen.

  6. @breakpoint

    Der Kunde will doch immer genau das, was wir ihm anbieten. ;)

  7. breakpoint sagt:

    @Maskierter

    Was Standardprodukte betrifft, stimme ich mit dir überein.
    Bei individuellen Lösungen dagegen muss man erstmal analysieren, was der Kunde braucht.
    Und das ist nicht immer, was er denkt, dass er will.

  8. @breakpoint

    Bei uns ist das so eine Mischung. Im Grunde ist Brötchen- und auch Butterbringer eine Standardlösung. Aber gegen Einwurf klingender Münzen gibt es natürlich auch gerne mal ein Modul nach Kundenwunsch. Glücklicherweise muss dann die genaue Anforderungsanalyse einer meiner Entwicklerknechte durchführen. Ich darf dann nur das Verbrechen an der Menschheit, das dann am Schluss bei rauskommt, zum Fliegen bringen.

    Aber der Part „Das was der Kunde braucht, ist was anderes als das was er will“ ist auch mir in beiden Szenarien nicht unbekannt. Man lernt aber mit den Jahren dem Kunden zu vermitteln, dass er bekommt, was ich will.

  9. Wie schön, dass man aus einem kleinen Fehler doch noch großen Profit schlagen konnte :) Und der Feierabend schien ja auch nicht von schlechten Eltern gewesen zu sein.

  10. @gotsassaufeinemast

    Wenn man in dem Bereich erfolgreich sein will, muss man jeden Umstand für sich zu nutzen wissen.

  11. Wolfy sagt:

    @Maskierter:

    Na dann ist der Weltuntergang ja verhindert *Schweiß von der Stirn wisch*

  12. Nobelix sagt:

    Wie sagt man so schön: „Wo gearbeitet wird, da fallen Späne“… und wo gearbeitet wird, da passiert schon mal ein Fehler.
    Immerhin ging es ohne größeren Stress aus und deine Büro-Mitbesetzer haben auch noch schnell geschaltet, um ihrem Controller zur Mittelfreigabe bewegt. DAS ist schon gar nicht mal so schlecht…jedenfalls ist das bei den Controllern, die ich kenne, so nicht ohne weiteres möglich :-)

    Und was das „zum Fliegen bringen“ angeht – mit ausreichender Triebwerksleistung fliegt jeder und alles – ausnahmslos. Wirklich ;-)

  13. @Wolfy

    Für Weltuntergang habe ich aktuell keinen Termin frei. ;)

    @Nobelix

    So ist es. Und da ich das stärkste Triebwerk bin, fliegt bei mir auch am Schluss alles. :D

  14. Weltuntergang geht ja auch noch gar nich..die After show party is ja noch gar nicht geplant..

  15. Ex-Admin sagt:

    Mein lieber Scholli! Eine echt krasse Methode, um den Contollettis Kohle aus dem Kreuz zu leiern. Ist nur Schade, dass da immer Admins herumlungern, die die Geschichte mit bekommen. Wenigstens waren sie – wie alle ihrer Art ;-) – bestechlich. Eine hervorragende Gelegenheit für einen Spesenbrecherrekord.

  16. @gotsassaufeinemast

    Oh – gleich zwei Tage in Folge… weia, da wird es noch enger in meinem Terminplaner. Nichts mehr vor 2032 frei.

    @Ex-Admin

    Ja, auf die Bestechlichkeit ist doch immer wieder Verlass. Und auf den Kreditrahmen der Firmenkarte, der zum Glück wirklich sehr großzügig bemessen ist.

  17. Engywuck sagt:

    hach ja, die berühmten Fehler, bei denen man mehr herunterfährt als man will…
    ich hatte damals grad in der neuen Firma angefangen und war eines der ersten Male auf dem zentralen ERP-Server, um eine Kleinigkeit zu erledigen (Cronjob oder so anpassen, jedenfalls root-Rechte nötig). Nun ja, war freitag mittag, ich will mich abmelden — und tippe (natürlich immer noch als root) „halt“ statt „exit“. Zwischen Drücken der Eingabetaste und Bemerken des Fehler muss die Lichtgeschwindigkeit überschritten worden sein, so schnell wie mein „scheiße“ kam, aber da hatte sich der Server schon überzeugen lassen, die Datenbank herunterzufahren… Und sowohl mein Kollege als auch ich wollten eigentlich *pünktlich* heim an diesem Tag. Den Cluster habe ich dafür aber immer noch nicht durchgesetzt bekommen :( Aber da war ja auch leider kein Maskierter anwesend….
    Dafür hat der Abteilungsleiter es neulich geschafft, statt einer VM gleich den ganzen Server runterzufahren :-)

  18. ednong sagt:

    Soso,
    der Maskierte macht Fehler und natürlich isser nicht Schuld. So geht das ja gar nicht. Und dann noch das Unwissen der armen Controller ausnutzen. Also ich weiß ja nicht …

    Man lernt aber mit den Jahren dem Kunden zu vermitteln, dass er bekommt, was ich will.

    ist nicht so ganz richtig. Bei mir haben die Kunden gelernt, dass sie selbstverständlich das bekommen, was sie wollen. Auch wenn ich natürlich das verkauft habe, was ich wollte. Und es nicht dasselbe war.

  19. @Engwuck

    Ja, der berühmte Moment, in dem man merkt: „Das war gerade sau doof!“

    @ednong

    Natürlich denken meine Kunden am Schluss, dass sie genau das bekommen haben, was sie auch wollten. Vielmehr noch, sie bedanken sich für die gute Beratung. ;)

  20. prisma sagt:

    @engwuck
    Dafür gibt es ein wunderbares tool das sich molly-guard nennt. Da muss man den hostnamen als bestätigung eingeben, wenn man das system wirklich neustarten/halten/ausschalten will.

  21. Engywuck sagt:

    und wie alle solchen Tools aus zwei Gründen unbrauchbar:
    – ich muss es *vorher* installieren (lassen)
    – dann wenn ich mich drauf verlasse, dass ich nochmal gefragt werde, ists auf *diesem* Server (noch) nicht installiert

    Das ist so ähnlich wie „alias rm=rm -i“. Sieht auf den ersten Blick nett aus und verringert auf den zweiten die Sicherheit. Dazuhin dann im Fall der Fälle tendenziell eher lästig…
    Abgesehen davon ist natürlich jedes installierte Programm eine potentielle Sicherheitslücke. Wobei ich *das* notfalls in kauf nehmen würde

  22. Andrea sagt:

    „Werner von Undzuau-Funddavon.“ ((?) – „Nachtgespenst, als Farbiger.“ *grins* *looooooool*

    Der Tag ist gerettet , lieber Maskierter und das Projekt auch. – Jeder macht mal Fehler, gell. ;)

    Auch ein Maskierter ist nicht perfekt.

    VhG

    Andrea

  23. mm. sagt:

    Man muss Fehler nur zu nutzen wissen (und bestechliche Mitwisser haben), schon sind sie nicht mehr schlimm… ;)

  24. Engywuck sagt:

    Das war kein Fehler, das war eine unbewusste Ausnutzung einer Gelegenheit, ddas Optimale für den Kunden zu erreichen (separate Testumgebung).

    Dass dem Maskierten seine Methoden evtl. selbst nicht bewusst sind zeugt nicht, dass er Fehler macht sondern nur seine Genialität.

    ;-)

Schreibe einen Kommentar

Trage deine Daten unten ein oder klicke ein Icon um dich einzuloggen:

WordPress.com-Logo

Du kommentierst mit Deinem WordPress.com-Konto. Abmelden / Ändern )

Twitter-Bild

Du kommentierst mit Deinem Twitter-Konto. Abmelden / Ändern )

Facebook-Foto

Du kommentierst mit Deinem Facebook-Konto. Abmelden / Ändern )

Google+ Foto

Du kommentierst mit Deinem Google+-Konto. Abmelden / Ändern )

Verbinde mit %s