"Jeg er altid nervøs for opgraderinger. Den mest udbredte årsag til nedetid er, når man forandrer nettet."
Sådan lyder det fra 3's tekniske direktør, Jörgen Askeroth, efter tirsdagens store nedbrud.
På grund af nedbruddet lykkedes det aldrig 3 at opdatere softwaren i tirsdags. Derfor kører det danske net stadig med den gamle software på HLR'en.
Men 3 skal på et tidspunkt have gennemført opdateringen, når man er sikre på, hvad root cause til tirsdagens nedbrud var. Og den tekniske chef er heller ikke bange for at forsøge igen, når der er gået et stykke tid.
"Vi er nødt til det. Vi dør, hvis vi ikke kan opgradere," siger Jörgen Askeroth.
Han forklarer at sandsynligheden for, at det går så galt som tirsdag, er meget lille. Alligevel har han respekt for opgraderingerne.
Leder efter årsagen
Det er endnu ikke helt afklaret, hvad der præcis var årsag til, at 3's net tirsdag gik ned og påvirkede kunderne i 14 timer.
Men ifølge Jörgen Askeroth peger meget på, at nedbruddet skyldes en fejl omkring den nye software, som firmaet forsøgte at installere på den vigtige HLR (Home Location Registry), der er helt grundlæggende i et mobilt netværk.
HLR'en har to sider, som er redundante i forhold til hinanden. Enheden indeholder informationer om blandt andet alle kunderne, SIM-kort, master og mobiltelefoner på netværket.
Forberedt minutiøst
En HLR opgraderes typisk hvert andet år, og forberedelserne til selve installationen er et projekt, som kan tage et halvt år at gennemføre. I processen gennemgår man minutiøst alt, som kan berøres af ændringerne, netop for at undgå et nedbrud som tirsdagens.
Opgraderinger af komponenter i mobilnetværk sker regelmæssigt, og den nye software tilføjer nye features og indeholder som regel også en række fejlrettelser.
Jörgen Askeroth fortæller, at 3 natten til tirsdag begynde at køre den nye software ind på den ene side af HLR'en, hvorefter alt så rigtigt ud.
"Alting virkede lige så godt som før. Herefter lagde vi også softwaren på den anden side," siger Jörgen Askeroth.
Et par timer senere gik noget imidlertid galt. Den tekniske direktør fortæller, at problemet i første omgang så ud til at stamme fra en såkaldt MSC, (Mobile switching center) en slags omstillingsbord, fordi problemerne i første omgang var tydeligst her.
"Det var en af årsagerne til, at det tog så lang tid, før vi forstod, at det i virkeligheden var HLR'en, som var problemet" siger han.
I stedet var det ifølge Jörgen Askeroth en genstart af en såkaldt RNC (Radio Network Controller), som er en slags radioomstilling, der udløste problemet.
Fejlfinding tog mange timer
Mens problemet tirsdag morgen eskalerede i 3's danske net, arbejde firmaets egne specialister sammen med et supportteam fra Ericsson på at kortlægge, hvad der var årsag og virkning af problemet.
"Det var vi i færd med hele formiddagen. Vi afprøvede forskellige årsager. Men det var først ved frokosttid, at vi fik fat i den rigtige årsag," siger Jörgen Askeroth.
Herefter var konklusionen, at det var nødvendigt at lukke hele nettet ned, fordi alle mobiler i hele nettet eller vil lave forespørgsler på samme tid. Og det kan nettet ikke håndtere. Derfor koblede 3 efter nedlukningen Danmark ind igen i etaper.
Nedlukningen foregik ved at udkoble omkring 10 mobile RNC'er, som betjener hvert sit geografiske område i landet. Det fik alle mobiltelefoner til at miste kontakten med nettet.
Jörgen Askeroth fortæller, at det er tredje gang han i sin karriere har måttet slukke et mobilnet. Selvom det sker ekstremt sjældent, er det alligevel noget som ikke må ske, forklarer han.
Kortlægger forløbet
Virksomheden har onsdag sammen med leverandøren foretaget en gennemgang af, hvad der skete på teleselskabets net. Men det arbejde er stadig ikke afsluttet. Blandt andet mangler den endelige root cause-analyse.
Han fortæller, at firmaet blandt andet kigger på, hvad man kunne have gjort for at undgå, at problemet overhovedet opstod. Men man gennemgår også, hvordan man hurtigere kunne have fundet den rette årsag til nedbruddet.
"Alting peger på, at der er fejl i softwaren," siger Jørgen Askeroth, der dog ikke tør afvise, at fejlen ligger i forberedelserne af udskiftningen af samme software.
"Det har jeg endnu ikke fået svar på," siger han.
Derfor er spørgsmålet om et eventuelt ansvar i forhold til nedbruddet netop nu en hed kartoffel, forklarer han.
