Adressfindung

Veröffentlicht: Mittwoch, 30.09.2015 in Kunden

Ich hatte das große Glück, in einem Projekt vergraben zu sein, in dem ich auch mit solchen lästigen Dingen wie Netzwerk-Infrastruktur-Hardware konfrontiert war. Nicht, dass es mir da an fachlicher Eignung fehlte, ganz im Gegenteil. In meiner Laufbahn hatte ich auch in dem Bereich einen längerfristigen Aufenthalt gehabt und mein Wissen enorm ausgebaut, so dass mir höchstens die Befehls-Syntax des jeweiligen Herstellers nicht geläufig war. Aber im Grunde kochen ja alle nur mit dem digitalen Analogon von Wasser.

Mein Job bestand also darin, dass ich Butterbringer, unser Zweitprodukt, mehrfach redundant für einen großen Lebensmittelkonzern integrieren sollte. Gesagt, getan. Die Installation von Butterbringer war ein Selbstläufer, den ich meinem Azubi Frederik Leißig mit ein paar begleitenden Hinweisen aufgetragen hatte. Ich kümmerte mich dafür um die Baggerladung Blech, die im Rechenzentrum ausgekippt worden war. Das Blech bestand aus einer kleinen Armada an Loadbalancern, die grob gesagt die Aufgabe hatten, alle ankommenden Netzwerkanfragen auf eine virtuelle Installation von Butterbringer auf viele reale Installationen aufzuteilen. Und zwar mit allem denkbaren Schnippi-Schnappi. Wenn eine der Installationen deaktiviert wurde, musste dies so geschehen, dass kein Verbindungsabriss beim anfragenden Gerät auftrat, aber gleichzeitig sollte ein Anfrager nach Möglichkeit immer auf der gleichen realen Installation landen, wenn diese verfügbar und nicht überlastet war.

Nachdem ich mir die Finger blutig getippt hatte und die Loadbalancer endlich so konfiguriert waren wie gewünscht und in unserem Testnetz korrekt arbeiteten, war es an der Zeit, diese ins produktive Netz einzubinden. Mein freundlicher Ansprechpartner vor Ort konfigurierte dafür ein schönes virtuelles Interface auf seinem Coreswitch, verband dieses mit der Loadbalancer-Installation und eigentlich fehlten nur noch 10 Installationen von Butterbringer, damit das Glück sein Maximum erreichte und der nahe Biergarten der Aufenthaltsort für den restlichen mit Sonnenlicht versorgten Tag werden sollte.

So besprachen wir gerade, welche lokalen Köstlichkeiten der Biergarten für das Feinkostgewölbe unseres maskierten Hauptprotagonisten bereit hielt, als ein Kollege meines freundlichen Ansprechpartners völlig in Panik in unserer Büro stürzte und fragte, was denn gerade los sei, die komplette IT-gestützte Produktion und überhaupt alles IT-mäßige sei zum Erliegen gekommen.

Ratlosigkeit machte sich in unseren Gesichtern breit und ich wusste, dass das Utopia Biergarten soeben in weite Ferne gerückt war. Meine Vorahnung gab mir recht, denn es dauerte mehrere Stunden bis wir das Problem identifiziert hatten:

Loadbalancer und Coreswitch waren zwar von unterschiedlichen Herstellern, aber hatten den Algorithmus zur Berechnungen virtueller MAC-Adressen gemeinsam. MAC-Adressen dienen dazu, ein Netzwerkgerät weltweit eindeutig zu identifizieren. Während bei physikalischen Geräten die Hersteller eigene Adressräume bekommen, ist dies bei virtuellen Geräten von Natur aus ein Problem. Hier kam es zur Kollision, sprich die virtuelle MAC-Adresse der Loadbalancer war identitisch zur virtuellen MAC-Adresse einer Schnittstelle auf dem Coreswitch und somit war keine eindeutige Kommunikationsverbindung mehr möglich. Das Ergebnis: totaler Stillstand im Netzwerk und ein mehrere Stunden lang komplett lahmgelegter Lebensmittelkonzern.

Unnötig zu erwähnen, dass der Biergarten nach Fehlerauflösung schon längst geschlossen hatte. Es dauerte übrigens ein halbes Jahr, bis der Hersteller der Loadbalancer das Problem korrigiert hatte und einen anderen Algorithmus zur MAC-Adressfindung implementiert hatte. Und so lange hatte unser Projekt eine Zwangspause.

Advertisements
Kommentare
  1. Tja, diese Virtualisierung kann schon manchmal lästig sein.

    Ließ sich die MAC-Adresse auf den virtuellen Geräten denn nicht manuell ändern?

  2. Wolfy sagt:

    Warum wird breakpoint bei mir nicht als letzter Kommentar angezeigt? o.O

    Wie auch immer:
    Wer ist jetzt da oben nun der Schuldige, über den wir uns lustig machen dürfen? :O

  3. Wolfy sagt:

    Tante Unedit sagt:

    Jetzt ist er da. Schweinerei.

  4. @breakpoint

    Doch, aber nicht, wenn Sie über die ganzen Loadbalancer verteilt werden musste, da ging nur der bescheuerte Auto-Algorithmus, der einfach eine MAC-Adresse zur VIP gewürfelt hatte. Und beim Switch wäre das einfach zu aufwendig gewesen, weil dann jedes virtuelle Interface hätte manuell gesetzt werden müssen, da sonst immer die Kollisionsgefahr bestünde.

    @Wolfy

    Die bescheurten Entwickler vom Loadbalancer und Switch-Hersteller. Insbesondere vom Loadbalancer-Hersteller.

  5. ednong sagt:

    Und dann steht das Projekt ernsthaft ein halbes Jahr lang still? Hätte es da nicht einfach andere Loadbalacer getan?

  6. @ednong

    Ja, es gibt tatsächlich Konzerne, da geht das. Das war so einer. Die Loadbalancer waren bestellt, der Hersteller hat das Problem zu beheben, wofür hat man Supportverträge?