Artikel top billede

Foto: Elro (Foto: ELRO Erhverv A/S)

Dansk netudbyder lukker ned: Risiko for totalnedbrud

Risiko for et muligt totalnedbrud har fået Skyline til at lukke ned for telefoni-og mailkunder.

En periodisk fejl i netværket hos Wimax-leverandøren Skyline betød at mail- og telefonikunder i dagevis havde problemer med deres produkter frem til lørdag.

Til gengæld gik de fleste erhvervskunder fri.

Det fortæller Ole Ørndrup, der siden januar har været driftschef hos Skyline og som på grund af fejlen har haft alt mandskab på overarbejde weekenden over for løse problemerne i samarbejde med hardwareleverandøren.

Fejlen, der blev opdaget i firmaets managementsystemer, viste sig efter dages analyse at stamme fra et defekt netværkskort i en core-router.

Men det tog langt tid at finde ud af, fordi den periodiske fejl fik switch-netværket foran core-routeren til at sætte beskyttelsesmekanismer i gang et par hundrede gange i minuttet.

"Det giver en meget uoverskuelig situation i nettet, fordi det hele tiden forsøger at sætte sikkerhedsmekanismerne i gang og så stoppe dem igen," siger Ole Ørndrup.

Han understreger tjenester ikke gik helt ned, men at der var tale om såkaldt nedsat fremkommelighed i nettet.    

Svært, men rigtigt valg

Han fortæller, at det lykkedes at holde langt hovedparten af kunderne fri af problemerne både torsdag og fredag.

Det var primært erhvervskunderne som gik fri. 
 
"Men at vi gjorde det, var også med til at forlænge fejlforløbet. Vi kunne godt have foretaget nogle hurtige indgreb torsdag, men det valgte vi ikke at gøre, fordi vi anså det for risikofuldt i forhold til kunderne," siger han.

Derfor valgte Ole Ørndrup at minimere ødelæggelserne ved at acceptere den periodiske fejl på nogle få erhvervskunder frem mod fredag aften, mens firmaets e-mail- og telefoniservice var hårdt ramt af fejlen.

Samtidig forsøgte it-medarbejderne at analysere, hvad der var galt i nettet.

"Det er jo ikke på nogen måde et spændende valg at stå overfor. Men hvis man står over det valg, at noget ikke virker ret godt og at hele kundebasen kan blive berørt, hvis man går ind og laver noget voldsomt, der valgte vi den forsigtige tilgang, " siger Ole Ørndrup, der i bakspejlet mener, at det var den rigtige beslutning.

Da erhvervskunderne holdt weekend og der kom mere ro på, var Skyline klar til at foretage de indgreb, som firmaet mente var nødvendige for at få nettet til at opføre sig stabilt igen.

"Vi fik også udbedret problemet og havde tidligt lørdag morgen en situation der fra kundernes synspunkt var ok," siger Ole Ørndrup.

Sådan arbejder selskabet på fejlretning nu

Han fortæller, at Skyline i forbindelse med flytningen foretog en række kontrollerede nedlukninger, men at den fejlramte core-router ikke har været genstartet.

Var det sket torsdag, havde der været overhængende fare for at fejlene var blevet værre.

"Vi kunne for dén sags skyld have risikeret, at det gik over i en permanent fejl," siger han og fortæller at potentialet var timelange afbrydelser.   

Fuld fart på

Men et stort antal interne systemer hos Skyline var ifølge driftchefen også berørt af problemerne og derfor er weekenden gået med at få disse på plads.

"Der har været mere end fuld fart på med rigtig mange specialister på arbejde, " siger Ole Ørndrup.

I praksis koblede flyttede Skyline alle services fra det fejlramte netværkskort til et sted med ledig kapacitet i netværket.

Dermed er kortet isoleret, mens firmaet venter på at få et nyt hjem.

"Men det har ingen betydning for driften, fordi vi har den nødvendige kapacitet til at køre uden det kort,"
siger han, og fortæller, at også personalet også mandag arbejder med sagen.

Periodisk hardwarefejl svær at finde  

Han fortæller, at der ikke umiddelbart er noget som tyder på, at fejlen har relation til de ændringer som Skyline foretog i nettet natten til torsdag.  

Ændringerne skete i forbindelse med en række planlagte omlægninger, der skal give et mere robust netværk og gøre det sikrere at foretage rettelser om udbygninger i nettet.

Han er ærgerlig over fejlen, men fortæller at det er meget svært at gardere sig mod hardwarefejl som eksempelvis et defekt netværkskort.

"Hvis det bare var stået af, så var det jo til at finde ud af. Men når det står og sender støj ud i switch netværket, så kan det virkelig give nogle overbelastningssituationer og lege med de beskyttelsesmekanismer der er lavet, så belastning. Og trafikbilledet bliver fuldstændig uoverskueligt." siger Ole Ørndrup.
Han fortæller, at core-routere typisk er redundante, som med dette fejlbillede hele tiden vil stå og koble ind og ud. Og det gør fejlfindingen utrolig kompleks, forklarer han.

"Vores egne specialister har sammen med al den viden vi har internt i huset været brugt til at lokalisere det her," siger han.
Han fortæller, at Skyline i forbindelse med moderniseringen af firmaets netværk allerede arbejder på at ombygge netværket, sådan at firmaet bedre bliver i stand til at finde og isolere eksempelvis denne type fejl.

"Hardwarefejl er typisk svære at gardere sig imod. Men vi vil lave det sådan, at hvis det her sker, så er påvirkningen minimal. Derfor ændrer vi på designet af vores switchnetværk," siger Ole Ørndrup.




Brancheguiden
Brancheguide logo
Opdateres dagligt:
Den største og
mest komplette
oversigt
over danske
it-virksomheder
Hvad kan de? Hvor store er de? Hvor bor de?
EG Danmark A/S
Udvikling, salg, implementering og support af software og it-løsninger til ERP, CRM, BA, BI, e-handel og portaler. Infrastrukturløsninger og hardware. Fokus på brancheløsninger.

Nøgletal og mere info om virksomheden
Skal din virksomhed med i Guiden? Klik her

Kommende events
Compliance og strategisk it-sikkerhed efter DORA

Finansielle koncerner har i snit 85 sikkerhedsløsninger i drift – men er i snit op til 100 dage om at opdage et igangværende cyberangreb. Ydermere viser øvelser, at det typisk tager 4-6 uger at rense og genetablere sikker drift af centrale systemer efter et stort angreb. Fokus for dagen vil derfor være på henholdsvis governance samt om, hvordan du som it-leder i den finansielle sektor skal kunne håndtere fremtidens cybertrusler og arbejde effektivt med sikkerhed på et strategisk niveau.

04. april 2024 | Læs mere


EA Excellence Day

Hvad er det, der gør it-arkitektens rolle så vigtig? Og hvad er det for udfordringer inden for områder som cloud, netværk og datacentre, som fylder hos nogle af landets bedste it-arkitekter lige nu? Det kan du her høre mere om og blive inspireret af på denne konference, hvor du også får lejlighed til at drøfte dette med ligesindede.

16. april 2024 | Læs mere


IAM - din genvej til højere sikkerhed uden uautoriseret adgang og datatab

På denne dag udforsker vi de nyeste strategier, værktøjer og bedste praksis inden for IAM, med det formål at styrke virksomheders sikkerhedsposition og effektiviteten af deres adgangsstyringssystemer og dermed minimere risikoen for uautoriseret adgang og datatab. Og hvordan man kommer fra at overbevise ledelsen til rent faktisk at implementere IAM?

18. april 2024 | Læs mere