Tirsdagens nedbrud hos teleselskabet 3, der er det største i historien, skete under en opgradering af den vigtigste komponent i et mobilnetværk.
Men arbejdet, der burde have været rutinearbejde, blev ramt af, hvad selskabet kalder "topmålet af uheld," hvilket eskalerede til en situation, hvor 3 i Sverige til sidst måtte slukke for Danmark.
Det var nemlig den såkaldte HLR (Home Location Registry), som teleselskabet natten til tirsdag opgraderede med den nyeste software fra leverandøren Ericsson.
Den danske del af 3's net drives af 3 i Sverige, og derfor var det fra Stockholm, at man foretog opgaven, der normalt er rutinearbejde, fortæller den svenske kommunikationschef for 3, Erik Hörnfeldt.
Opgraderede hjernen i mobilnettet
Han sammenligner enheden med en central telefonbog, der holder styr på de kunder, som har lov til at anvende teleselskabets netværk.
"Når nogen tænder en mobiltelefon i Danmark, så søger mobilen efter tilgængelige net. Og er det en 3-kunde, så sendes der en forespørgsel til HLR, som konstaterer, at der er tale om en 3-kunde, der har lov til at benytte 3's netværk," forklarer Erik Hörnfeldt.
Hos televirksomheden Netplan supplerer teleanalytiker Torben Rune ved at forklare, at HLR'en er kernen i hele GSM-systemet, fordi systemet fungerer som operatørens hjerne. Det er her, at informationer om alle abonnementer, SIM-kort, mastepositioner, viderestilling, roaming og mobilsvar opbevares.
"Uden HLR, ingen mobildækning. Det gælder alle GSM-baserede net og kommer også til at gælde 4G-nettene," siger Torben Rune.
Smed danske kunder af nettet
Men mens HLR'en blev opgraderet, skete der en genstart af en såkaldt MSC'er (Mobile switching center), som dirigerer taleopkald, sms'er og andet i den danske del af 3's mobilnetværk.
Ifølge Erik Hörnfeldt var det et øget antal fejl på MSC'en, som medførte, at man genstartede denne. Operationen tager 15 til 20 minutter, og giver normalt kun mindre, lokale forstyrrelser.
"Da MSC'en lukkede ned, blev et stort antal af vores kunder smidt af nettet. Og da den var i gang igen, kom der en masse forespørgsler fra telefoner og master, og eftersom HLR'en var under opgradering - og derfor ikke online - kollapsede systemet," siger Erik Hörnfeldt.
Topmålet af uheld
Han fortæller, at fraværet af HLR'en bevirkede, at et utroligt stort antal mobiltelefoner begyndte at efterspørge information, som ikke var tilgængelig, fordi MSC'en var genstartet.
"Og det ledte til kraftig overbelastning af systemet, som eskaleredes gennem store dele af det danske mobilnet," siger han.
Dette påvirkede samtaletrafikken, hvor et stort antal kunder oplevede heftige problemer med at få samtaler igennem, mens datatrafikken ifølge den svenske kommunikationschef angiveligt virkede som under normale forhold.
"Det er en fejltype, som er meget svær at forudse. Det er topmålet af uheld. Et stort antal ting skal gå galt på samme tid, for at det kan ske. Men det er sket, og vi ved hvorfor. Vi vil sørge for, at det aldrig kommer til at ske igen," siger Erik Hörnfeldt.
Slukkede for Danmark
Problemet indtraf ved halv tre-tiden om morgenen, blev alvorligt om morgenen og fortsatte hele formiddagen.
"Straks efter frokost besluttede man at slukke hele det danske mobilnet ned og starte det forfra," siger Erik Hörnfeldt om beslutningen, som kommunikationschefen ikke håber skal tages mere end en enkelt gang på 1.000 år.
For at undgå igen at overbelaste mobilnettet, valgte 3 at starte det danske net i etaper. Først blev Københavns centrum koblet ind, herefter Sydsjælland, Amager, Ring 3-regionen, Nordsjælland, Århus, Nordjylland og Fyn. Klokken 18.20 var hele nettet igen i fuld drift.
Ifølge Erik Hörnfeldt var den nye opgradering af HLR'en kategoriseret som normal vedligeholdelse. Der var ikke tale om risikabelt arbejde eller særlige årsager til arbejdet.
Stadig ukendte detajer
"Vi sørger for at have den seneste og bedste software på vores system. Og Ericsson var kommet med en ny software-realease til HLR'en, og det var denne, der skulle rulles ud. Det gør man om natten og tester så, om alt virker, som det skal. Og det gør det oftest," siger Erik Hörnfeldt.
Imidlertid står det fast at selskabet med et nedbrud og dertilhørende problemer på mere end 14 timer oplevede historiens største nedbrud på et mobilnet i landet. Et nedbrud, hvor selskabet sammen med leverandøren Ericsson stadig arbejder hektisk på at samle stumperne til puslespillet om, hvad der gik galt og hvorfor.
