Artikel top billede

Nødprocedurerne aldrig testet før kæmpe EPJ-nedbrud

Region Midtjylland har aldrig gennemført en fuld test-nedlukning på det vigtige EPJ-system og dets backup-systemer, der i weekenden gik helt ned i en kædereaktion af uheld og nedbrud. Se her, hvad der gik galt.

Region Midtjylland med knap 1,3 millioner indbyggere har aldrig gennemført en komplet nød-test - en total disaster recovery - af regionens store EPJ-system, Midt-EPJ.

Og i weekenden gik det galt.

Her blev hele regionens EPJ-system ramt af et langvarigt og totalt nedbrud, der betød, at læger, sygeplejersker og andre ikke kunne få adgang til oplysningerne i patient-journalerne og dermed potentielt livsvigtige oplysninger om patienterne.

Det store nedbrud blev initieret af en strømafbrydelse i Holstebro, hvor regionens EPJ-server er placeret.

Kædereaktion

Herefter fulgte en række følgevirkninger, der begyndte med, at nødgeneratoren svigtede. Tilsammen førte kæden af følgevirkninger til det totale nedbrud lørdag ved 18-tiden.

Midt-EPJ var først fuld funktionsdygtig igen sent søndag.

Du kan læse mere om, hvordan det store nedbrud forløb her: Stort dansk EPJ-system ramt af totalt nedbrud.

It-driftchef Peter Bruun Nielsen betegner nedbruddet som et 'worst case scenario,' hvor hele datacenteret går ud.

"Det var jo meget alvorligt, og set i bakspejlet klarede vi ikke testen godt nok, selv om vi kom igennem til sidst. Vi er faktisk meget kede af det," siger han til Computerworld.

Ingen fuld total disaster recovery-test

Problemet blev ikke mindre af, at Region Midtjylland ifølge flere it-folk med kendskab til sagen, som Computerworld har været i kontakt med, aldrig har gennemført en total afprøvning af nød-procedurerne i det livsvigtige EPJ-system.

Det bekræfter Peter Bruun Nielsen.

"Vi har aldrig udført en fuld test af datacenteret, hvor vi slukker det hele. Der er en kompleksitet i det nuværende system, der gør, at vi ikke kan udføre en total disaster recovery," siger han til Computerworld.

Han fortæller, at den ramte nødgenerator - der ikke gik i gang, som den skulle - imidlertid bliver prøvestartet én gang om måneden og senest fungerede, som den skulle.

Backup i systemvinduer - men ingen fuld test

Samtidig afvikles regionens skrabede readonly-backup system, Opslags-EPJ, jævnligt i system-vinduer, der typisk ligger om natten.

Opslags-EPJ svigtede imidlertid også i weekenden.

"Vi havde et system-vindue for nylig uden problemer. Men i weekenden opstod der en fejl, så der ikke var kontakt. Nu skal vi ned at kigge på, hvordan vi får ændret Opslags-EPJ, så det ikke sker igen," siger Peter Bruun Nielsen.

"Normalt lukker vi Midt-EPJ ned det ene sted og tager det op det andet sted, når vi laver system-vinduer. Men forskellen er selvfølgelig, at det er en planlagt og kontrolleret proces, hvor det i weekenden skete lige pludselig," siger Peter Bruun Nielsen.

Kører asynkront

Et af problemer med regionens EPJ-setup er, at de to datacentre - et i Holstebro i det vestjyske og et i Skejby i det østjyske - ikke kører synkront.

Det betyder, at de to databaser aldrig er identiske, selv om den ene altid vil køre Midt-EPJ, mens den anden vil køre Opslags-EPJ, der skal tage over i nødstilfælde.

Det betød, at it-folkene frygtede at tabe vigtig data, hvis de skulle tvinge Midt-EPJ over på backup-serverne i Skejby.

"Da vi stod i situationen, var det første prioritet at få Opslags-EPJ op hurtigt. Og da det viste sig umuligt, fik det prioritet at overføre Midt-EPJ til Skejby. Men det er en kompliceret proces," siger Peter Bruun Nielsen.

Det tager desuden omkring et kvarter at opstarte Opslags-EPJ.

I weekenden gik også systemets netværks-udstyr ned på grund af manglende strøm.

Og det skulle først i gang, inden serverne igen kunne genstartes.

Det er ifølge Peter Bruun Nielsen en tidskrævende proces, da mange servere skal startes - og det skal ske i en bestemt rækkefølge.

Har I ikke en beredskabsplan, som man kan følge i den her slags situationer?

"Vi har et fast vagt-setup med en 24-7 overvågningsdesk, der med det samme begynder at tage fat i vagterne, når vi får meldingen. Men med så massivt et nedbrud som dette er der brug for specialist-kompetencer, og det var en udfordring at få tilkaldt de nødvendige folk på dette tidspunkt. Det lykkedes da, men det tog tid," siger Peter Bruun Nielsen.

Midt-EPJ blev også ramt af et stort nedbrud i februar. Det kan du læse mere om her: Ramt igen og igen: Så slemt var det store EPJ-nedbrud

Læs også:

Stort dansk EPJ-system ramt af totalt nedbrud

Ramt igen og igen: Så slemt var det store EPJ-nedbrud




Brancheguiden
Brancheguide logo
Opdateres dagligt:
Den største og
mest komplette
oversigt
over danske
it-virksomheder
Hvad kan de? Hvor store er de? Hvor bor de?
Jobindex Media A/S
Salg af telemarketing og research for it-branchen, it-kurser og konferencer

Nøgletal og mere info om virksomheden
Skal din virksomhed med i Guiden? Klik her

Kommende events
Compliance og strategisk it-sikkerhed efter DORA

Finansielle koncerner har i snit 85 sikkerhedsløsninger i drift – men er i snit op til 100 dage om at opdage et igangværende cyberangreb. Ydermere viser øvelser, at det typisk tager 4-6 uger at rense og genetablere sikker drift af centrale systemer efter et stort angreb. Fokus for dagen vil derfor være på henholdsvis governance samt om, hvordan du som it-leder i den finansielle sektor skal kunne håndtere fremtidens cybertrusler og arbejde effektivt med sikkerhed på et strategisk niveau.

04. april 2024 | Læs mere


EA Excellence Day

Hvad er det, der gør it-arkitektens rolle så vigtig? Og hvad er det for udfordringer inden for områder som cloud, netværk og datacentre, som fylder hos nogle af landets bedste it-arkitekter lige nu? Det kan du her høre mere om og blive inspireret af på denne konference, hvor du også får lejlighed til at drøfte dette med ligesindede.

16. april 2024 | Læs mere


IAM - din genvej til højere sikkerhed uden uautoriseret adgang og datatab

På denne dag udforsker vi de nyeste strategier, værktøjer og bedste praksis inden for IAM, med det formål at styrke virksomheders sikkerhedsposition og effektiviteten af deres adgangsstyringssystemer og dermed minimere risikoen for uautoriseret adgang og datatab. Og hvordan man kommer fra at overbevise ledelsen til rent faktisk at implementere IAM?

18. april 2024 | Læs mere