Artikel top billede

(Foto: Povl D. Rasmussen)

Dansk stor-region efter nedbrud: Derfor gik it-systemerne i sort

Interview: Region Nord har fået systemerne på benene igen efter formiddagens total-nedbrud. Se her, hvad der ifølge it-chef Claus Wegener Kofoed gik galt.

Opdateret 14:50: Region efter kæmpenedbrud: Vi har fundet synderen.

Region Nord har efter morgenens totalnedbrud igen fået regionens sygehus-systemer på benene.

Nedbruddet ramte regionen klokken 03.45 i nat, da overvågnings-alarmen gik, hvorefter fejlsøgningen straks gik i gang.

"Vi lokaliserede fejlen en time senere - altså klokken kvart i fem i nat," siger regionens it-chef, Claus Wegener Kofoed, til Computerworld.

Han blev vækket i nat - eller 'aktiveret,' som han kalder det - og dernæst fik han regionens allerede planlagte nødprocedurer i gang.

"Det er jo nogle timer med høj intensitet," siger Claus Wegener Kofoed.

Nedbruddet skyldtes, at systemet ikke kunne få fat i fire redundante core-switche, hvilket fik hele netværket til at gå i sort.

Det en fejl, der ifølge Claus Wegener Kofoed 'heldigvis' er meget sjælden.

"Switchene var blevet overbelastet af det, som vi kalder en pakkestorm eller en multicast, der kom buldrende som en tsunami. Det skete på et splitsekund, og det gik så hurtigt, at ingen kunne nå at reagere," siger Claus Wegener Kofoed.

Normalt har regionen ifølge ham en oppetid på 99,9699 procent.

"Vi har jo overvågning døgnet rundt, og systemet er bygget, så det selv vil lukke bestemte processer ned, hvis netværkstrafikken stiger med X procent," siger han.

Det nåede systemet bare ikke at gøre i nat, fordi pakketstormen pludselig og uden varsel opstod og overbelastede systemet med meget stor kraft.

Da netværket røg, blev forbindelsen til regionens EPJ samtidig afbrudt.

Det varede indtil klokken 09.50 i formiddags, hvor netværket igen var på benene.

Opdateret 14:50: Region efter kæmpenedbrud: Vi har fundet synderen.

Synderen skal findes

"Vi fik fjernet de netværks-segmenter, der forårsagede nedbrudet, og klokken 09.50 fik vi re-etableret core-netværket. Vi har enkelte lokale switche, der skal genstartes manuelt, men de er sekundære. Lige nu er vi ude af incidenten og  godt i gang i problem mode," siger Claus Wegener Kofoed.

Regionens it-folk ved nemlig endnu ikke, hvordan pakkestormen kunne opstå, eller hvor den er kommet fra. Og det skal opklares.

"Ingen af vores it-folk går hjem, før vi har fundet årsagen. Og jeg tror heller ikke, at nogen har lyst til at gå hjem, før det er sket," siger Claus Wegener Kofoed.

Han peger på, at pakkestormen kan have været udløst af en hardware- eller softwarefejl i en switch eller et andet element i netværket.

Synderen skal findes

"Men vi ved endnu ikke hvad, hvor eller hvorfor det her netværkselement så bare ikke har lukket ned for sig selv. Nu skal vi have fundet synderen, og vi skal have kigget på hele netværksstrukturen, så vi kan undgå, at det sker igen," siger han.

Det sker i samarbejde med hardware-producenten Cisco og regionens netværks-leverandør Axcess. Begge selskaber er blevet hidkaldt og har folk på sagen.

Det er altid kritisk, når en regions sygehuse mister forbindelsen til dets EPJ-system, der indeholder data over samtlige patienter.

Opdateret 14:50: Region efter kæmpenedbrud: Vi har fundet synderen.

Alle beredskaber fungerede

Ifølge Claus Wegener Kofoed fungerede regionens nødberedskab og interne processer imidlertid til punkt og prikke, og ingen patienter har været i fare på noget tidspunkt, siger han.

"Det indgår i vores nødberedskab, at vi begynder med at printe alt ud, som sygehusene skal bruge i de første timer, og det bliver så kørt ud til dem, inden vi begynder reetableringen. Vi er meget opmærksomme på kommunikationen med sygehusene og ledelsen, når sådan noget sker. Alting har fungeret, som det skulle, " siger Claus Wegener Kofoed.

Læs også:

Dansk stor-region i sort: Alle systemer er nede

Stort nedbrud igen: Så ofte har dansk sundheds-system været nede på ni måneder

Region efter total-nedbrud af EPJ-systemet: Det kan ske igen




Brancheguiden
Brancheguide logo
Opdateres dagligt:
Den største og
mest komplette
oversigt
over danske
it-virksomheder
Hvad kan de? Hvor store er de? Hvor bor de?
KEYBALANCE A/S
Udvikling og salg af økonomisystemer samt CRM og MPS. Systemer til blandt andet maskinhandlere, vvs-branchen, vognmænd, låsesmede,handelsvirksomheder

Nøgletal og mere info om virksomheden
Skal din virksomhed med i Guiden? Klik her

Kommende events
Undgå cyberkatastrofen med automatiseret kontrol over sensitive data

Når cyberkriminelle gennemtrænger din sikkerhedsinfrastruktur, bruger de i snit 48 dage til at danne sig et overblik over sensitive data, før de lukker dine systemer og data ned med ransomware. På dette seminar får du derfor et solidt grundlag for at sikre dig overblik over sensitive, virksomhedskritiske informationer. Derudover vil du få et praktisk indblik i, hvordan du beskytter dine informationer, så du er er mindre sårbar når cyberkriminelle trænger ind på dit netværk, samt et overblik over typiske angrebsformer og viden om, hvordan et ransomwareangreb foregår i praksis.

07. februar 2023 | Læs mere


Status og erfaringer fra fem år med GDPR

Vi samler nogle af Danmarks fremmeste GDPR-eksperter trådene efter knapt fem år. Dette giver dig et solidt overblik over de hidtidige erfaringer og sikker viden at basere din indsats på, når du skal planlægge og tilpasse din organisations indsats for at sikre compliance med det omfattende regelkompleks.

07. februar 2023 | Læs mere


ERP-trends 2023

Vi sætter også fokus på, hvordan udviklingen kommer til at påvirke din organisation, hvordan du bedst forbereder og planlægger ERP-indsatsen og om, hvilke faldgruber du skal være opmærksom på. Herunder hvordan den stadig mere udbredte – og uomgængelige – anvendelse af cloudservices vil påvirke dine muligheder for at få mest muligt ud af dine investeringer.

08. februar 2023 | Læs mere