Det var en softwarefejl, som søndag satte op mod 780.000 mobilkunders telefoner delvist ud af funktion det meste af dagen, hvor en HLR-central i Odense blev ramt af et nedbrud.
HLR-centralen holder sammen med fire andre dublerede centraler styr på, hvem der bliver ringet op, og hvilke mobilceller brugerne er på.
- Vi har været ude for en dobbeltfejl. Eller måske endda en tripplefejl, der er startet som en hardwarefejl, som så har eksponeret en fejl i HLR-anlæggets software, siger John Svensson, der er teknisk direktør i TDC Mobil.
Problemet opstod ifølge direktøren, fordi en defekt processor i centralen begyndte at køre med fuld belastning, og derfor prøvede at tvangslukke sig selv.
Hardwarefejl eksponerede softwarefejl
Ifølge direktøren har hardwarefejlen på en eller anden måde har spillet sammen med den eksponerede softwarefejl.
Fejlen gjorde, at systemet ændrede en parameter, som igen fik centralen til at reloade noget forkert, da den igen kom op at køre.
Det tog lang tid at finde ud af hvad der egentlig var i vejen.
Først klokken 22 lykkedes det at finde en vej rundt om problemstillingen, siger John Svensson.
- Nu ved vi præcis, hvad vi skal kigge efter, så nu holder vi det selvfølgelig under tæt observation, siger John Svensson.
Vi var pressede
I løbet af søndagen var alt, hvad der kunne krybe og gå ifølge direktøren i fuld gang med at fejlsøge problemet på den store central i Odense.
Og sidst på aftenen lykkedes det at finde en vej uden om problemet, fordi nogle medarbejdere mente at have set noget lignende engang, fortæller John Svensson.
- De fandt så noget dokumentation frem, og ved bare at ændre en enkelt setting fik vi det hele op at trille igen, siger John Svensson.
- Vi var temmelig pressede der, siger John Svensson.
TDC har i alt fem HLR-anlæg placeret rundt omkring i Danmark.
Alle anlæg er dubblerede, så firmaet kan skifte side på det og køre videre selv om der er fejl.
Den fejlramte HLR-central er af typen AXE og er leveret af Ericsson, der selv har udviklet softwaren i anlæggene.
Landsdækkende problem
Problemet var ikke geografisk afgrænset til Fyn, selv om centralen befinder sig i Odense.
Ifølge John Svensson bor de berørte kunder i store dele af landet, fordi Odense-anlægget ud over at betjene omkring 300.000 TDC Mobil-kunder også har koblet 500.000 Telmore-kunder op.
I øjeblikket venter TDC på, at Ericsson vender tilbage med en rettelse af softwaren til HLR-centralen.
Imens fungerer den midlertidige løsning stadig, og er under skærpet overvågning, fortæller John Svensson.
- Vi kan nok ikke forhindre, at det her kan ske. Men vi er i gang med at se, hvad vi kan gøre for at reducere den tid, det tog at finde fejlen, siger John Svensson.
