Flere hundrede it-medarbejdere hos Danske Bank deltog lørdag aften i en øvelse, der simulerede brand i et af storbankens to datacentre.
"Vi lukkede for alle systemer i Ejby klokken 20.30, og så var det meningen, at alt skulle køre videre i det andet datacenter. Og det gjorde det meste sørme også," siger Peter Trier Schleidt, it-direktør hos Danske Bank.
Han fortæller, at systemerne havde nedetider på mellem 30 sekunder og op til nogle minutter alle de steder, hvor tingene virkede som planlagt.
Heldigvis virkede blandt andet betalingskortenes trafik på tværs af landene upåklageligt. Netop betalingskortene er det mest kritiske at undvære en lørdag aften, fortæller it-direktøren. Dermed kørte Dankort og kreditkortbetalinger videre uden gener for koncernens mange bankkunder i en række lande.
"Vi havde faktisk slet ikke nogle udfald," siger Peter Trier Schleidt.
Afslørede flere fejl
Til gengæld drillede et vigtigt system til bankens porteføljestyring, som ikke af sig selv kom op at køre igen på det andet datacenter. Systemet bruges af medarbejderne og indeholder oplysninger om investorer og aktier for mange hundrede milliarder kroner.
"Det knoklede vi med i tre timer, før det kørte. Det gør ikke så meget en lørdag aften, for der bruger vi det ikke til noget. Men det kunne have været vigtigt, hvis det havde været en hverdag," siger it-direktøren.
Øvelsen afslørede også en fejl, som betød, at forbindelsen til den fælles logon-tjeneste NemID ikke automatisk kørte videre på bankens andet datacenter.
"Vi fandt en fejl i vores setup på netværket. Så det tog et par timer, før vi var oppe igen på NemID, men vi havde vores backup-løsning," siger Peter Trier Schleidt, der fortæller, at kunderne var blevet advaret om mulige problemer gennem annonceringen af et servicevindue i perioden.
Ifølge Peter Trier Schleidt er en øvelse som lørdagens super god, fordi den kan afsløre problemer, der ellers ville dukke op den dag, øvelsen bliver alvor.
Lukkede serverne pænt ned
"Var det her sket i virkeligheden, var det blevet til et reelt kundeproblem. Nu fandt vi ud af, at vi havde et problem, og vi ved også allerede, hvad fejlen er. Nu er der bare nogen, som skal have det rettet, så det virker, når det sker i virkeligheden, siger Peter Trier Schleidt.
Derfor er beredskabsøvelser ifølge it-direktøren utroligt værdifulde, og derfor laver banken hvert år en øvelse.
Peter Trier Schleidt fortæller, at øvelsen var lavet med realisme for øje. Systemerne blev fysisk slukket. Dog blev serverne alle lukket pænt ned, da de ellers kan gå i stykker.
For at give øvelsen et ekstra pift havde bankkoncernen i år taget datterselskabet Danicas systemer med i simuleringen.
"De kom pænt op igen," siger Peter Trier Schleidt, der er godt tilfreds med forløbet af lørdagens øvelse.
Nye systemer mest risikable
Han fortæller, at banken typisk tager årets nytilkomne systemer med i øvelsen, fordi det er her, der er flest risici. Det er typisk også her, at fejlene dukker op.
Peter Trier Schleidt fortæller, at øvelsen næppe var overraskende for medarbejderne, fordi de på forhånd var blevet kaldt på vagt lørdag aften.
"Så de vidste godt, at de ikke skulle drikke rødvin, men de vidste ikke, hvad der skulle ske," siger Peter Trier Schleidt.
Bankens systemer kørte efter øvelsen videre på det andet datacenter indtil søndag frokost, hvor systemerne blev flyttet tilbage til det normale drifts-setup uden problemer.
"Hvis man skal være sikker på, at fejltolerance virker, så skal man have prøvet det af. Og det skal man gøre løbende," er it-direktørens budskab til kollegerne.
