Læs også: TDC ramt af kæmpe-nedbrud - 100.000 kunder nede.
Der var hektisk aktivitet hos TDC onsdag.
Det skyldtes, at omkring 100.000 netværksforbindelser til de største af telegigantens erhvervskunder gik i sort i en times tid - flere timer for enkelte kunder - i eftermiddagstimerne.
"Alle er helt oppe at køre, når sådan noget sker," lyder det fra Henrik Vestergaard, driftsansvarlig for TDC's IP-net i Danmark og teleselskabets overordnede netværk i resten af verden.
Han fortæller, at der blev løbet rundt med sved på panden, da fejlen blev opdaget og fejlrettet i løbet af blot 17 minutter.
På grund af en tvungen server-genstart oplevedes nedbruddet dog som langt længere ude hos store erhvervskunder, som tæller blandt andre Danske Bank og SAS.
Syv teknikere blev lynhurtigt kastet ind i opgaven, der under normale omstændigheder uden nedbrud kræver maksimalt to mand at løse. Henrik Vestergaard måtte selv vente til midnat, før han kunne holde fri.
"Alle er klar til at yde en ekstraordinær indsats og være på plads, når den slags uheld er ude," fortæller han til Computerworld.
Syge servere til storkunderne
Årsagen til det store nedbrud ligger i, at TDC er ved at lægge sine management-netværk for erhvervskunder i Norden sammen.
Det skyldes, at Danmark kører med ét netværkssystem, mens resten af Norden er på et andet netværk.
Helt konkret opstod fejlen, da TDC ville lægge nogle routing-tabeller til management-netværket sammen.
"Der begik vi den fejl, at vi fik duplikeret IP-adresser på 32 ud af 1.400 routere, og det resulterede i en overbelastning, så routerne blev syge. Der er jo en fysisk begrænsning på memory, og den overskred vi," forklarer Henrik Vestergaard.
Han indskyder samtidig, at de 32 ud af 1.400 routere ikke giver et repræsentativt bilede, da det drejer sig om TDC's allerstørste routere, hvor alle de store kunder er samlet ud af hele TDC's erhversportefølje på 17.000 erhvervskunder.
Sådan vil TDC undgå lignende uheld
Henrik Vestergaard forklarer på den baggrund, at det hovedsageligt var danske erhvervskunder i Københavns- og Aarhusområdet, der blev ramt af nedbruddet.
Kan være menneskelig fejl
Hvordan fejlen kunne opstå, er TDC stadig i gang med at undersøge.
"Jeg kan på nuværende tidspunkt ikke sige noget om, hvorvidt nedbruddet skyldtes en tastefejl eller en maskinfejl, men det er vi i gang med at undersøge," siger Henrik Vestergaard.
Han forventer, at kunderne inden for et par dage vil modtage en RFO-rapport (reason for outage) med en detaljeret beskrivelse af hændelsesforløbet og ikke mindst, hvordan TDC vil forsøge at undgå lignende nedbrud igen.
Skal snakke forløbet igennem
TDC har med sammenlægningen af sine nordiske netværk før været ude i meget større sammenlægningsprojekter, da managementnetværkene kun er en lille del af det store netværk.
Derfor kom nedbruddet i managementnetværket også bag på TDC, og der blev med det samme kaldt ekstra teknikere til serverrummet, så fejlen kunne udbedres hurtigst muligt.
"Vi havde alle sammen en hektisk arbejdsdag, hvilket også vil være tilfældet i dag," siger Henrik Vestergaard, der kalder sine folk sammen til et møde i eftermiddag.
"Man kan desværre aldrig udstikke 100 procent-garantier, men vi mødes i eftermiddag og taler tingene igennem, så den slags nedbrud ikke sker igen," lyder det fra Henrik Vestergaard.
De fleste kunder oplevede, at de havde normal drift omkring 15-tiden i går, mens det ifølge Henrik Vestergaard tog noget længere for enkelte kunder, før de var på netværket igen.
