Artikel top billede

Der har været travlt på gangene i 3's hovedkvarter i Københavns Sydhavn de seneste par døgn.

Foto: Povl D. Rasmussen (Foto: Povl D. Rasmussen)

Derfor var 3's mobilnet sendt til tælling i 14 timer

Det var ifølge 3 "topmålet af uheld," der tirsdag lagde selskabets danske net ned.

Tirsdagens nedbrud hos teleselskabet 3, der er det største i historien, skete under en opgradering af den vigtigste komponent i et mobilnetværk. 

Men arbejdet, der burde have været rutinearbejde, blev ramt af, hvad selskabet kalder "topmålet af uheld," hvilket eskalerede til en situation, hvor 3 i Sverige til sidst måtte slukke for Danmark.   
 
Det var nemlig den såkaldte HLR (Home Location Registry), som teleselskabet natten til tirsdag opgraderede med den nyeste software fra leverandøren Ericsson. 
 
Den danske del af 3's net drives af 3 i Sverige, og derfor var det fra Stockholm, at man foretog opgaven, der normalt er rutinearbejde, fortæller den svenske kommunikationschef for 3, Erik Hörnfeldt. 
 
Opgraderede hjernen i mobilnettet 
Han sammenligner enheden med en central telefonbog, der holder styr på de kunder, som har lov til at anvende teleselskabets netværk.
 
"Når nogen tænder en mobiltelefon i Danmark, så søger mobilen efter tilgængelige net. Og er det en 3-kunde, så sendes der en forespørgsel til HLR, som konstaterer, at der er tale om en 3-kunde, der har lov til at benytte 3's netværk," forklarer Erik Hörnfeldt.  
 
Hos televirksomheden Netplan supplerer teleanalytiker Torben Rune ved at forklare, at HLR'en er kernen i hele GSM-systemet, fordi systemet fungerer som operatørens hjerne. Det er her, at informationer om alle abonnementer, SIM-kort, mastepositioner, viderestilling, roaming og mobilsvar opbevares.
 
"Uden HLR, ingen mobildækning. Det gælder alle GSM-baserede net og kommer også til at gælde 4G-nettene," siger Torben Rune.
 
Smed danske kunder af nettet
Men mens HLR'en blev opgraderet, skete der en genstart af en såkaldt MSC'er (Mobile switching center), som dirigerer taleopkald, sms'er og andet i den danske del af 3's mobilnetværk.
 
Ifølge Erik Hörnfeldt var det et øget antal fejl på MSC'en, som medførte, at man genstartede denne. Operationen tager 15 til 20 minutter, og giver normalt kun mindre, lokale forstyrrelser.
 
"Da MSC'en lukkede ned, blev et stort antal af vores kunder smidt af nettet. Og da den var i gang igen, kom der en masse forespørgsler fra telefoner og master, og eftersom HLR'en var under opgradering - og derfor ikke online - kollapsede systemet," siger Erik Hörnfeldt.

Topmålet af uheld

Han fortæller, at fraværet af HLR'en bevirkede, at et utroligt stort antal mobiltelefoner begyndte at efterspørge information, som ikke var tilgængelig, fordi MSC'en var genstartet.
 
"Og det ledte til kraftig overbelastning af systemet, som eskaleredes gennem store dele af det danske mobilnet," siger han.  
 
Dette påvirkede samtaletrafikken, hvor et stort antal kunder oplevede heftige problemer med at få samtaler igennem, mens datatrafikken ifølge den svenske kommunikationschef angiveligt virkede som under normale forhold. 
 
"Det er en fejltype, som er meget svær at forudse. Det er topmålet af uheld. Et stort antal ting skal gå galt på samme tid, for at det kan ske. Men det er sket, og vi ved hvorfor. Vi vil sørge for, at det aldrig kommer til at ske igen," siger Erik Hörnfeldt. 
 
Slukkede for Danmark
Problemet indtraf ved halv tre-tiden om morgenen, blev alvorligt om morgenen og fortsatte hele formiddagen.
 
"Straks efter frokost besluttede man at slukke hele det danske mobilnet ned og starte det forfra," siger Erik Hörnfeldt om beslutningen, som kommunikationschefen ikke håber skal tages mere end en enkelt gang på 1.000 år.
 
For at undgå igen at overbelaste mobilnettet, valgte 3 at starte det danske net i etaper. Først blev Københavns centrum koblet ind, herefter Sydsjælland, Amager, Ring 3-regionen, Nordsjælland, Århus, Nordjylland og Fyn. Klokken 18.20 var hele nettet igen i fuld drift.
 
Ifølge Erik Hörnfeldt var den nye opgradering af HLR'en kategoriseret som normal vedligeholdelse. Der var ikke tale om risikabelt arbejde eller særlige årsager til arbejdet.   
 
Stadig ukendte detajer
"Vi sørger for at have den seneste og bedste software på vores system. Og Ericsson var kommet med en ny software-realease til HLR'en, og det var denne, der skulle rulles ud. Det gør man om natten og tester så, om alt virker, som det skal. Og det gør det oftest," siger Erik Hörnfeldt.
 
Imidlertid står det fast at selskabet med et nedbrud og dertilhørende problemer på mere end 14 timer oplevede historiens største nedbrud på et mobilnet i landet. Et nedbrud, hvor selskabet sammen med leverandøren Ericsson stadig arbejder hektisk på at samle stumperne til puslespillet om, hvad der gik galt og hvorfor.




Brancheguiden
Brancheguide logo
Opdateres dagligt:
Den største og
mest komplette
oversigt
over danske
it-virksomheder
Hvad kan de? Hvor store er de? Hvor bor de?
JN Data A/S
Driver og udvikler it-systemer for finanssektoren.

Nøgletal og mere info om virksomheden
Skal din virksomhed med i Guiden? Klik her

Kommende events
Compliance og strategisk it-sikkerhed efter DORA

Finansielle koncerner har i snit 85 sikkerhedsløsninger i drift – men er i snit op til 100 dage om at opdage et igangværende cyberangreb. Ydermere viser øvelser, at det typisk tager 4-6 uger at rense og genetablere sikker drift af centrale systemer efter et stort angreb. Fokus for dagen vil derfor være på henholdsvis governance samt om, hvordan du som it-leder i den finansielle sektor skal kunne håndtere fremtidens cybertrusler og arbejde effektivt med sikkerhed på et strategisk niveau.

04. april 2024 | Læs mere


EA Excellence Day

Hvad er det, der gør it-arkitektens rolle så vigtig? Og hvad er det for udfordringer inden for områder som cloud, netværk og datacentre, som fylder hos nogle af landets bedste it-arkitekter lige nu? Det kan du her høre mere om og blive inspireret af på denne konference, hvor du også får lejlighed til at drøfte dette med ligesindede.

16. april 2024 | Læs mere


IAM - din genvej til højere sikkerhed uden uautoriseret adgang og datatab

På denne dag udforsker vi de nyeste strategier, værktøjer og bedste praksis inden for IAM, med det formål at styrke virksomheders sikkerhedsposition og effektiviteten af deres adgangsstyringssystemer og dermed minimere risikoen for uautoriseret adgang og datatab. Og hvordan man kommer fra at overbevise ledelsen til rent faktisk at implementere IAM?

18. april 2024 | Læs mere