Stribe af softwarefejl lagde Danske Bank ned

Danske Bank har nu offentliggjort en redegørelse for hvad der rent faktisk skete i dagene 10. - 14. marts, da bankens IT-system brød sammen og resulterede i store problemer for både aktiehandlere, privatkunder og erhvervskunder.

Genstarten af IBM's DB2 databasesoftware efter en rutine reparation i et disksystem, medførte en softwarefejl, som udløste tre andre lignende fejl og sendte IT-systemerne hos Danmarks største bank til tælling.

Det startede mandag den 10. marts om eftermiddagen med en rutineudskiftning af en defekt strømforsyning i et disksystem af typen RVA. Systemet bruges til lagring af data i DB2 databasesoftwaren.
I forbindelse med udskiftningen faldt strømmen ud og driften i det berørte datacenter i Ejby udenfor København standsede kl. 16.08 mandag eftermiddag.
Det medførte, at den del af systemerne, der kører på driftscentret i Ejby, valuta-, fondshandel- og udlandssystemer samt betalingsformidling, standsede. Driften kunne fortsætte for de systemer, der tager sig af pengeautomater og selvbetjeningssystemer, da de kører på bankens andet driftscenter i Brabrand.

I forbindelse med genstarten af DB2 databasesoftwaren stod det i løbet af morgenen tirsdag den 11. marts klart, at en hidtil ukendt softwarefejl skabte inkonsistens i datamængderne.
Denne første softwarefejl har eksisteret i alle DB2 installationer siden 1997 uden at IBM har haft kendskab til den og udløste yderligere tre fejl i IBM's DB2 databasesoftware.
Den anden softwarefejl betød, at recovery processen på en række DB2 tabeller ikke kunne startes, hvilket resulterede i tidstab under reetableringen.
Den tredje softwarefejl resulterede i, at recovery jobs ikke kunne gennemføres i et parallelt forløb, hvilket medførte yderligere tidstab i forbindelse med retableringen.
Den fjerde softwarefejl indebar, at recovery jobs ikke genskabte alle data på tabellerne. Denne sidste fejl, som opstod torsdag den 13. marts, resulterede i nye tilfælde af inkonsistente data, der måtte genskabes på anden vis, hvilket medførte, at processen kompliceredes yderligere og trak ud. For at undgå længere forsinkelse besluttede banken ikke at ville afvente IT-leverandørens korrektion af software. I stedet blev en proces, som banken udviklede sammen med DMdata, byggende på bankens egne replicerede data fra driftscentret i Brabrand, taget i anvendelse.

Fredag den 14. marts blev bankens online systemer startet med succes og mandag den 17. marts om morgenen var alle data på ny genindlæst og systemerne oppe at køre igen 100 procent.

Ingen af de fatale fejl i DB2 var kendt af IBM, og derfor forelå der ikke rettelser til disse. Rettelser til fejlene er nu tilgængelige for alle brugere af DB2 databasesoftware. Softwaren er det mest udbredte til mainframe systemer og bruges af en lang række banker verden over.

På baggrund af de omfattende problemer, der blandt andet også gav banken alvorlige skræmmer i lakken rent image- og troværdighedsmæssigt, vil Danske Bank fremover vurdere en investering i yderligere udbygning af to-center drift for flere af koncernens vitale IT-systemer, sådan så systemerne kan kører videre på søster-systemerne i Brabrand hvis centeret i Ejby endnu en gang skulle blive ramt af uheld.