Migrationen – ein wahres Wunder hinter verschlossenen Türen

Bei verschiedenen Projekten war unser Migrationsexperte Michael Bogucki bereits in die Migration von sehr vertraulichen Daten involviert. Diese Projekte von Banken, Versicherungen und öffentlichen Diensten sind besonders heikel, weil wir als Dienstleister, die geheimen Daten des Kunden natürlich nicht sehen dürfen. Wie an eine solche Aufgabe herangegangen wird und worauf man speziell achten muss, hat uns Michi in einem kurzen Gespräch erzählt.

Warum migriert ein Kunde Daten?

Wenn wir ein neues Produkt für einen Kunden entwickeln dürfen, gibt es meistens ein aktuelles Produkt oder Projekt, welches ersetzt wird. Je nach dem gibt es auch mehrere Tools und Hilfsmittel wie z.B. Excel-Tabellen, welche durch unsere Neuentwicklung abgelöst werden. Der Kunde muss schon am Anfang des Projektes entscheiden, welche dieser Daten er auch im neuen System benötigt. Gewisse Daten werden nur zur Archivierung übernommen. Andere werden aber für die aktive Bearbeitung benötigt und müssen im neuen Format zur Verfügung stehen.
Die Entscheidung, welche Daten aktiv weiter benötigt werden, hat einen grossen Einfluss auf die neue Applikation, da bei der Entwicklung aller Prozesse auch die Überführung der alten Datenstrukturen beachtet werden müssen.

Wie läuft eine Migration ab?

Gerade bei den oben erwähnten Projekten mit schützenswerten Daten gibt es bei der Migration, einiges zu beachten. Da wir die alten Datensätze nicht sehen oder bearbeitet dürfen, werden diese meist zuerst durch einen Drittanbieter so exportiert, dass sogenannte flache Datendokumente – man kann sich das wie eine Excel-Tabelle vorstellen – entstehen. Auf diese Datensätze können wir dann über einen sicheren Server zugreifen, ohne die Inhalte bei uns gespeichert zu haben.

So können wir nun Scripts entwickeln, durch welche wir die Datensätze durchlaufen lassen und sie in neuen Strukturen umwandeln. Dabei gilt zu beachten, was mit mangelhaften oder falschen Daten des alten Datensatzes geschieht. Auch hier ist wieder eine enge Zusammenarbeit mit dem Kunden gefragt. In einem nächsten Schritt müssen physische Dateien nachgezügelt werden, da diese immer nur als Referenzen in den Datensätzen hinterlegt sind. Damit beginnt das ganze Spiel von neuem.

Nach mehreren Testdurchgängen können dann die Datensätze in das neue System gezügelt werden. Dafür muss die Datenerfassung im ursprünglichen System gestoppt werden. Bei mehreren Millionen Datensätzen kann dieser Unterbruch gut drei Tage dauern.

Wo passieren Fehler bei Migrationen?

Die Möglichkeit für Fehler sind bei einer komplexen Migration praktisch grenzenlos. Meistens liegen diese aber nicht bei den Systemen, sondern bei den Menschen. Wenn wie im oben genannten Beispiel zwei bis drei Stakeholder gemeinsam arbeiten, kann gut mal einer der Millionen Datensätze untergehen. Ebenfalls ist es normal, dass bei der anfänglichen Definition von zu migrierenden Daten einige Spezialfälle vom Kunden vergessen werden. Deshalb ist ein gutes Testing – welches entweder durch den Kunden, durch uns oder mit unserer Anleitung gemacht wird – enorm wichtig. Mit sogenannten Smoketests versucht man dabei herauszufinden, wo es «brennt»: Das bedeutet, besonders fehleranfällige Daten werden vor der Migration festgelegt und nach der Migration getestet. Auch Mengen-Tests sind sehr wichtig: Stimmt die Anzahl der Datensätze im neuen System mit den zu erwarteten Mengen aus dem Ursprungssystem überein?

Mit einem guten Testing – vor und nach der Migration – kann wenig schiefgehen bei der Migration von enorm grossen Datenmengen. Aber das aller wichtigste bei so komplexen Migrationen, ist die enge und gute Zusammenarbeit zwischen allen Parteien – das ist der Kern unseres Erfolgskonzepts.