Artikel top billede

(Foto: Computerworld)

Her er forklaringen på kæmpe TDC-netværksnedbrud

Et kæmpenedbrud på TDC's netværk sendte onsdag eftermiddag telegigantens største kunder i sort. Læs her, hvordan TDC's teknikere håndterede opgaven.

Læs også: TDC ramt af kæmpe-nedbrud - 100.000 kunder nede.

Der var hektisk aktivitet hos TDC onsdag.

Det skyldtes, at omkring 100.000 netværksforbindelser til de største af telegigantens erhvervskunder gik i sort i en times tid - flere timer for enkelte kunder - i eftermiddagstimerne.

"Alle er helt oppe at køre, når sådan noget sker," lyder det fra Henrik Vestergaard, driftsansvarlig for TDC's IP-net i Danmark og teleselskabets overordnede netværk i resten af verden.

Han fortæller, at der blev løbet rundt med sved på panden, da fejlen blev opdaget og fejlrettet i løbet af blot 17 minutter.

På grund af en tvungen server-genstart oplevedes nedbruddet dog som langt længere ude hos store erhvervskunder, som tæller blandt andre Danske Bank og SAS.

Syv teknikere blev lynhurtigt kastet ind i opgaven, der under normale omstændigheder uden nedbrud kræver maksimalt to mand at løse. Henrik Vestergaard måtte selv vente til midnat, før han kunne holde fri.

"Alle er klar til at yde en ekstraordinær indsats og være på plads, når den slags uheld er ude," fortæller han til Computerworld.

Syge servere til storkunderne

Årsagen til det store nedbrud ligger i, at TDC er ved at lægge sine management-netværk for erhvervskunder i Norden sammen.

Det skyldes, at Danmark kører med ét netværkssystem, mens resten af Norden er på et andet netværk.

Helt konkret opstod fejlen, da TDC ville lægge nogle routing-tabeller til management-netværket sammen.

"Der begik vi den fejl, at vi fik duplikeret IP-adresser på 32 ud af 1.400 routere, og det resulterede i en overbelastning, så routerne blev syge. Der er jo en fysisk begrænsning på memory, og den overskred vi," forklarer Henrik Vestergaard.

Han indskyder samtidig, at de 32 ud af 1.400 routere ikke giver et repræsentativt bilede, da det drejer sig om TDC's allerstørste routere, hvor alle de store kunder er samlet ud af hele TDC's erhversportefølje på 17.000 erhvervskunder.

Sådan vil TDC undgå lignende uheld

Henrik Vestergaard forklarer på den baggrund, at det hovedsageligt var danske erhvervskunder i Københavns- og Aarhusområdet, der blev ramt af nedbruddet.

Kan være menneskelig fejl

Hvordan fejlen kunne opstå, er TDC stadig i gang med at undersøge.

"Jeg kan på nuværende tidspunkt ikke sige noget om, hvorvidt nedbruddet skyldtes en tastefejl eller en maskinfejl, men det er vi i gang med at undersøge," siger Henrik Vestergaard.

Han forventer, at kunderne inden for et par dage vil modtage en RFO-rapport (reason for outage) med en detaljeret beskrivelse af hændelsesforløbet og ikke mindst, hvordan TDC vil forsøge at undgå lignende nedbrud igen.

Skal snakke forløbet igennem

TDC har med sammenlægningen af sine nordiske netværk før været ude i meget større sammenlægningsprojekter, da managementnetværkene kun er en lille del af det store netværk.

Derfor kom nedbruddet i managementnetværket også bag på TDC, og der blev med det samme kaldt ekstra teknikere til serverrummet, så fejlen kunne udbedres hurtigst muligt.

"Vi havde alle sammen en hektisk arbejdsdag, hvilket også vil være tilfældet i dag," siger Henrik Vestergaard, der kalder sine folk sammen til et møde i eftermiddag.

"Man kan desværre aldrig udstikke 100 procent-garantier, men vi mødes i eftermiddag og taler tingene igennem, så den slags nedbrud ikke sker igen," lyder det fra Henrik Vestergaard.

De fleste kunder oplevede, at de havde normal drift omkring 15-tiden i går, mens det ifølge Henrik Vestergaard tog noget længere for enkelte kunder, før de var på netværket igen.

Læs også: TDC ramt af kæmpe-nedbrud - 100.000 kunder nede.




Brancheguiden
Brancheguide logo
Opdateres dagligt:
Den største og
mest komplette
oversigt
over danske
it-virksomheder
Hvad kan de? Hvor store er de? Hvor bor de?
Fiftytwo A/S
Konsulentydelser og branchespecifikke softwareløsninger til retail, e-Commerce, leasing og mediebranchen.

Nøgletal og mere info om virksomheden
Skal din virksomhed med i Guiden? Klik her

Kommende events
Compliance og strategisk it-sikkerhed efter DORA

Finansielle koncerner har i snit 85 sikkerhedsløsninger i drift – men er i snit op til 100 dage om at opdage et igangværende cyberangreb. Ydermere viser øvelser, at det typisk tager 4-6 uger at rense og genetablere sikker drift af centrale systemer efter et stort angreb. Fokus for dagen vil derfor være på henholdsvis governance samt om, hvordan du som it-leder i den finansielle sektor skal kunne håndtere fremtidens cybertrusler og arbejde effektivt med sikkerhed på et strategisk niveau.

04. april 2024 | Læs mere


EA Excellence Day

Hvad er det, der gør it-arkitektens rolle så vigtig? Og hvad er det for udfordringer inden for områder som cloud, netværk og datacentre, som fylder hos nogle af landets bedste it-arkitekter lige nu? Det kan du her høre mere om og blive inspireret af på denne konference, hvor du også får lejlighed til at drøfte dette med ligesindede.

16. april 2024 | Læs mere


IAM - din genvej til højere sikkerhed uden uautoriseret adgang og datatab

På denne dag udforsker vi de nyeste strategier, værktøjer og bedste praksis inden for IAM, med det formål at styrke virksomheders sikkerhedsposition og effektiviteten af deres adgangsstyringssystemer og dermed minimere risikoen for uautoriseret adgang og datatab. Og hvordan man kommer fra at overbevise ledelsen til rent faktisk at implementere IAM?

18. april 2024 | Læs mere