Både Dankort, netbetalinger eller internationale betalingskort holdt lørdag midt i den travelste handelstid op med at fungere.
Nedbruddet skyldes en endnu ukendt teknisk fejl i et databasesystem hos IBM.
Fejlen bevirkede, at ingen digitale betalinger kunne gennemføres i godt en time. Samlet set var systemet ustabilt i mere end to timer.
"Omtrent klokken tolv fik vi en rapport fra IBM om, at deres overvågning havde konstateret en teknisk fejl i det databasesystem, der varetager transaktioner på Dankort og internationale kort," siger Søren Winge, som er kommunikationschef hos Nets, det tidligere PBS, der driver betalingssystemerne.
Risikrerede dobbelttrækning
Ifølge Søren Winge faldt antallet af transaktioner herefter markant og stoppede helt umiddelbart efter klokken 12.12.
Betalingssystemerne kører på to spejlede platforme, som sikrer, at man kan slå over på et andet system, hvis der er driftsstop på det første system.
Dette skift sker normalt stort set automatisk i løbet af mellem fem og ti minutter. Men lørdagens fejl var ikke normal.
"Der opstår en ret usædvanlig situation med selve problemet, som gjorde, at man ikke ønskede at foretage et automatisk skift. Man var nødt til først at verificere systemerne manuelt for at sikre, at der ikke skete en korrumpering af data i forbindelse med flytningen," siger Søren Winge.
Han fortæller, at der ellers kunne være risiko for, at at en betaling blev trukket to gange.
"Derfor er det først vigtigt at sikre, at integriteten i data bliver fastholdt, når man foretager sit switch," siger Søren Winge.
Klokken 13.11, næsten en time efter nedbruddet var en realitet, blev skiftet til den sekundære platform, back-up systemet, gennemført. Ifølge kommunikationschefen var der til at begynde med noget kø på systemet, som sædvanligvis indtræffer efter så omfattende problemer.
Efter et kvarters ustabilitet på grund af ophobede transaktioner kørte systemet igen stabilt omkring 13.30.
"Men så klokken 13.45 opstod der en følgefejl, som på en eller anden vis gjorde, at vi igen måtte afvise transaktioner," siger Søren Winge.
Måtte genstarte systemet
Denne følgefejl betød, at Nets denne gang måtte genstarte systemet, for ifølge Søren Winge igen at kunne gøre brug af alle ressourcerne på systemet. Efter genstarten var gennemført klokken 14.10 kørte betalingssystemerne igen fint.
Søren Winge fortæller, at Nets i nat klokken 02.00 gennemførte et såkaldt host-switch, som er et skift tilbage til den primære platform i det redundante system. Selve skifter tager få minutter.
"Det er jo spejlede platforme, men set-uppet er sådan, at man helst vil køre på det, som vi betragter som den primære platform."
Årsag stadig ukendt
Han fortæller, at virksomheden sammen med IBM arbejder på at kortlægge, hvad det var for en databasefejl, der udløste nedbruddet.
"Vi har isoleret problemet og ved, hvor det opstod i databasen. Men det, som faktisk udstår er, hvad der har trigget denne her udløsning. Den skal vi være helt sikker på, at vi har afdækket og afhjulpet. Og der er vi ikke endnu," siger Søren Winge.
Derfor er de vigtigste indsatsområder lige nu for Nets og leverandøren IBM at sikre stabil drift og skærpe overvågningen, så en tilsvarende fejl hurtigt kan afhjælpes, forklarer Søren Winge.
"Det, vi mangler nu, er at identificere, hvad der har trigget det her, og hvordan vi kan tilrette det, så det ikke opstår igen," siger Søren Winge.
Han fortæller, at man i en såkaldt root cause-analyse af problemet blandt andet vil evaluere, om tidligere tilretninger af systemet er skyld i utilsigtede følgevirkninger.
