Det var en defekt fiberkomponent i Region Nords datacenter i Aalborg, der natten til tirsdag fik hele regionens netværk til at kollapse.
Sådan lyder det fra it-chef Claus Wegener Kofoed.
"Vi fandt frem til den pågældende fiber-komponent klokken 12.00 og sendte straks en tekniker ud for at skifte den," siger han til Computerworld.
Her sad den
Den defekte fiber-komponent sad i en core-switch i kælderen under regionens datacenter i Aalborg, fortæller Claus Wegener Kofoed.
"Den broadcastede og genererede en masse trafik, som fik systemet til at gå ned," siger han.
Du kan læse mere om kollapset her: Dansk stor-region efter nedbrud: Derfor gik it-systemerne i sort
Claus Wegener Kofoed fortæller, at denne type fejl - med 'en dårlig' komponent - er noget af det værste, der kan ramme et netværk.
"Der ville jo ikke have været noget problem, hvis den bare var gået ned, for så havde vi bare fået en alarm, mens det redundante system havde kørt videre uden problemer. Men nu sad den altså og genererede en masse trafik," fortæller han.
It-afdelingens overvågningssystem udsendte alarm klokken 03.45 i nat.
Det viste sig, at en såkaldt pakkestorm havde lagt netværket ned - altså en massiv overbelastning af data.
Det kollapsede netværk betød blandt andet, at der ikke var adgang til regionens EPJ-system.
Netværket blev re-etableret igen 09.50.
Siden har regionens it-folk arbejdet på at lokalisere selve den enhed, der har genereret de store mængder data.
"Vi fik trukket netværks-segmentet ud, så vi kunne analysere det, mens det kørte for sig selv. Og her kunne vi se, at der peakede trafik ud," fortæller Claus Wegener Kofoed.
Sådan bliver efterspillet
It-folkene går nu i gang med at analysere den pågældende fiber-komponent.
"Vi stresstester den nu for at se, om det kun er dette ene eksemplar, der er noget galt med. Vi har jo flere af den slags komponenter," siger Claus Wegener Kofoed
Næste opgave bliver at finde ud af, hvordan regionen kan undgå at blive ramt af denne type fejl.
Netværk skal reviewes
"Vi vil finde ud af præcis, hvorfor den gjorde det, og så skal vi have et review af netværket og finde ud af, hvordan vi kan forhindre, at det her sker igen," siger han.
Der er flere løsningsmodeller, men det er endnu for tidligt at sige noget om, hvorvidt det skal være ny hardware eller anden infrastruktur eller lignende, der skal forhindre, at noget lignende sker igen, fortæller Claus Wegener Kofoed.
Du kan læse mere om kollapset her: Dansk stor-region efter nedbrud: Derfor gik it-systemerne i sort
