En periodisk fejl i netværket hos Wimax-leverandøren Skyline betød at mail- og telefonikunder i dagevis havde problemer med deres produkter frem til lørdag.
Til gengæld gik de fleste erhvervskunder fri.
Det fortæller Ole Ørndrup, der siden januar har været driftschef hos Skyline og som på grund af fejlen har haft alt mandskab på overarbejde weekenden over for løse problemerne i samarbejde med hardwareleverandøren.
Fejlen, der blev opdaget i firmaets managementsystemer, viste sig efter dages analyse at stamme fra et defekt netværkskort i en core-router.
Men det tog langt tid at finde ud af, fordi den periodiske fejl fik switch-netværket foran core-routeren til at sætte beskyttelsesmekanismer i gang et par hundrede gange i minuttet.
"Det giver en meget uoverskuelig situation i nettet, fordi det hele tiden forsøger at sætte sikkerhedsmekanismerne i gang og så stoppe dem igen," siger Ole Ørndrup.
Han understreger tjenester ikke gik helt ned, men at der var tale om såkaldt nedsat fremkommelighed i nettet.
Svært, men rigtigt valg
Han fortæller, at det lykkedes at holde langt hovedparten af kunderne fri af problemerne både torsdag og fredag.
Det var primært erhvervskunderne som gik fri.
"Men at vi gjorde det, var også med til at forlænge fejlforløbet. Vi kunne godt have foretaget nogle hurtige indgreb torsdag, men det valgte vi ikke at gøre, fordi vi anså det for risikofuldt i forhold til kunderne," siger han.
Derfor valgte Ole Ørndrup at minimere ødelæggelserne ved at acceptere den periodiske fejl på nogle få erhvervskunder frem mod fredag aften, mens firmaets e-mail- og telefoniservice var hårdt ramt af fejlen.
Samtidig forsøgte it-medarbejderne at analysere, hvad der var galt i nettet.
"Det er jo ikke på nogen måde et spændende valg at stå overfor. Men hvis man står over det valg, at noget ikke virker ret godt og at hele kundebasen kan blive berørt, hvis man går ind og laver noget voldsomt, der valgte vi den forsigtige tilgang, " siger Ole Ørndrup, der i bakspejlet mener, at det var den rigtige beslutning.
Da erhvervskunderne holdt weekend og der kom mere ro på, var Skyline klar til at foretage de indgreb, som firmaet mente var nødvendige for at få nettet til at opføre sig stabilt igen.
"Vi fik også udbedret problemet og havde tidligt lørdag morgen en situation der fra kundernes synspunkt var ok," siger Ole Ørndrup.
Sådan arbejder selskabet på fejlretning nu
Han fortæller, at Skyline i forbindelse med flytningen foretog en række kontrollerede nedlukninger, men at den fejlramte core-router ikke har været genstartet.
Var det sket torsdag, havde der været overhængende fare for at fejlene var blevet værre.
"Vi kunne for dén sags skyld have risikeret, at det gik over i en permanent fejl," siger han og fortæller at potentialet var timelange afbrydelser.
Fuld fart på
Men et stort antal interne systemer hos Skyline var ifølge driftchefen også berørt af problemerne og derfor er weekenden gået med at få disse på plads.
"Der har været mere end fuld fart på med rigtig mange specialister på arbejde, " siger Ole Ørndrup.
I praksis koblede flyttede Skyline alle services fra det fejlramte netværkskort til et sted med ledig kapacitet i netværket.
Dermed er kortet isoleret, mens firmaet venter på at få et nyt hjem.
"Men det har ingen betydning for driften, fordi vi har den nødvendige kapacitet til at køre uden det kort,"
siger han, og fortæller, at også personalet også mandag arbejder med sagen.
Periodisk hardwarefejl svær at finde
Han fortæller, at der ikke umiddelbart er noget som tyder på, at fejlen har relation til de ændringer som Skyline foretog i nettet natten til torsdag.
Ændringerne skete i forbindelse med en række planlagte omlægninger, der skal give et mere robust netværk og gøre det sikrere at foretage rettelser om udbygninger i nettet.
Han er ærgerlig over fejlen, men fortæller at det er meget svært at gardere sig mod hardwarefejl som eksempelvis et defekt netværkskort.
"Hvis det bare var stået af, så var det jo til at finde ud af. Men når det står og sender støj ud i switch netværket, så kan det virkelig give nogle overbelastningssituationer og lege med de beskyttelsesmekanismer der er lavet, så belastning. Og trafikbilledet bliver fuldstændig uoverskueligt." siger Ole Ørndrup.
Han fortæller, at core-routere typisk er redundante, som med dette fejlbillede hele tiden vil stå og koble ind og ud. Og det gør fejlfindingen utrolig kompleks, forklarer han.
"Vores egne specialister har sammen med al den viden vi har internt i huset været brugt til at lokalisere det her," siger han.
Han fortæller, at Skyline i forbindelse med moderniseringen af firmaets netværk allerede arbejder på at ombygge netværket, sådan at firmaet bedre bliver i stand til at finde og isolere eksempelvis denne type fejl.
"Hardwarefejl er typisk svære at gardere sig imod. Men vi vil lave det sådan, at hvis det her sker, så er påvirkningen minimal. Derfor ændrer vi på designet af vores switchnetværk," siger Ole Ørndrup.
