Artikel top billede

(Foto: Computerworld)

Her er forklaringen på kæmpe TDC-netværksnedbrud

Et kæmpenedbrud på TDC's netværk sendte onsdag eftermiddag telegigantens største kunder i sort. Læs her, hvordan TDC's teknikere håndterede opgaven.

Læs også: TDC ramt af kæmpe-nedbrud - 100.000 kunder nede.

Der var hektisk aktivitet hos TDC onsdag.

Det skyldtes, at omkring 100.000 netværksforbindelser til de største af telegigantens erhvervskunder gik i sort i en times tid - flere timer for enkelte kunder - i eftermiddagstimerne.

"Alle er helt oppe at køre, når sådan noget sker," lyder det fra Henrik Vestergaard, driftsansvarlig for TDC's IP-net i Danmark og teleselskabets overordnede netværk i resten af verden.

Han fortæller, at der blev løbet rundt med sved på panden, da fejlen blev opdaget og fejlrettet i løbet af blot 17 minutter.

På grund af en tvungen server-genstart oplevedes nedbruddet dog som langt længere ude hos store erhvervskunder, som tæller blandt andre Danske Bank og SAS.

Syv teknikere blev lynhurtigt kastet ind i opgaven, der under normale omstændigheder uden nedbrud kræver maksimalt to mand at løse. Henrik Vestergaard måtte selv vente til midnat, før han kunne holde fri.

"Alle er klar til at yde en ekstraordinær indsats og være på plads, når den slags uheld er ude," fortæller han til Computerworld.

Syge servere til storkunderne

Årsagen til det store nedbrud ligger i, at TDC er ved at lægge sine management-netværk for erhvervskunder i Norden sammen.

Det skyldes, at Danmark kører med ét netværkssystem, mens resten af Norden er på et andet netværk.

Helt konkret opstod fejlen, da TDC ville lægge nogle routing-tabeller til management-netværket sammen.

"Der begik vi den fejl, at vi fik duplikeret IP-adresser på 32 ud af 1.400 routere, og det resulterede i en overbelastning, så routerne blev syge. Der er jo en fysisk begrænsning på memory, og den overskred vi," forklarer Henrik Vestergaard.

Han indskyder samtidig, at de 32 ud af 1.400 routere ikke giver et repræsentativt bilede, da det drejer sig om TDC's allerstørste routere, hvor alle de store kunder er samlet ud af hele TDC's erhversportefølje på 17.000 erhvervskunder.

Sådan vil TDC undgå lignende uheld

Henrik Vestergaard forklarer på den baggrund, at det hovedsageligt var danske erhvervskunder i Københavns- og Aarhusområdet, der blev ramt af nedbruddet.

Kan være menneskelig fejl

Hvordan fejlen kunne opstå, er TDC stadig i gang med at undersøge.

"Jeg kan på nuværende tidspunkt ikke sige noget om, hvorvidt nedbruddet skyldtes en tastefejl eller en maskinfejl, men det er vi i gang med at undersøge," siger Henrik Vestergaard.

Han forventer, at kunderne inden for et par dage vil modtage en RFO-rapport (reason for outage) med en detaljeret beskrivelse af hændelsesforløbet og ikke mindst, hvordan TDC vil forsøge at undgå lignende nedbrud igen.

Skal snakke forløbet igennem

TDC har med sammenlægningen af sine nordiske netværk før været ude i meget større sammenlægningsprojekter, da managementnetværkene kun er en lille del af det store netværk.

Derfor kom nedbruddet i managementnetværket også bag på TDC, og der blev med det samme kaldt ekstra teknikere til serverrummet, så fejlen kunne udbedres hurtigst muligt.

"Vi havde alle sammen en hektisk arbejdsdag, hvilket også vil være tilfældet i dag," siger Henrik Vestergaard, der kalder sine folk sammen til et møde i eftermiddag.

"Man kan desværre aldrig udstikke 100 procent-garantier, men vi mødes i eftermiddag og taler tingene igennem, så den slags nedbrud ikke sker igen," lyder det fra Henrik Vestergaard.

De fleste kunder oplevede, at de havde normal drift omkring 15-tiden i går, mens det ifølge Henrik Vestergaard tog noget længere for enkelte kunder, før de var på netværket igen.

Læs også: TDC ramt af kæmpe-nedbrud - 100.000 kunder nede.




Brancheguiden
Brancheguide logo
Opdateres dagligt:
Den største og
mest komplette
oversigt
over danske
it-virksomheder
Hvad kan de? Hvor store er de? Hvor bor de?
Keybalance A/S
Udvikling og salg af økonomisystemer samt CRM og MPS. Systemer til blandt andet maskinhandlere, vvs-branchen, vognmænd, låsesmede,handelsvirksomheder

Nøgletal og mere info om virksomheden
Skal din virksomhed med i Guiden? Klik her

Kommende events
Hjemmearbejdets påvirkning på trivsel, helbred og arbejdsmiljø

Fremtidens arbejdsplads er hybrid, det er der ingen tvivl om. Men hvad fører det egentlig med sig? Og hvordan omstiller du og din arbejdsplads sig til det? Det kan du blive klogere på, på denne digitale konference.

02. februar 2022 | Læs mere


GDPR - persondatabeskyttelse i praksis

Håndteringen af persondata og GDPR er for længst blevet hverdag hos de danske organisationer, men derfor er det til stadighed vigtigt og altafgørende, at den løbende overholdelse af GDPR er på plads. Vær med og hør, hvordan du ved hjælp af processuelle greb, værktøjer og systemer kan sikre dette.

08. februar 2022 | Læs mere


Analytics, BI og data science: Data-behandling i realtid

Datadrevne løsninger er godt på vej til at vinde indpas i næsten alle industrier - og med god grund. For der er store muligheder i at kunne forstå, fortolke og reagere lynhurtigt på de store datamængder, som alle organisationer genererer. På dette seminar kan du høre om nogle af de bedste eksempler inden for praktisk anvendelse af avanceret data-analyse, hvordan du kommer i gang, og hvordan du kan høste udbytte.

22. februar 2022 | Læs mere






CIO
Sådan tager top-CIO Pernille Geneser livtag med 40 år gamle it-systemer i Stark Group med 10.000 medarbejdere