Region Midtjylland med knap 1,3 millioner indbyggere har aldrig gennemført en komplet nød-test - en total disaster recovery - af regionens store EPJ-system, Midt-EPJ.
Og i weekenden gik det galt.
Her blev hele regionens EPJ-system ramt af et langvarigt og totalt nedbrud, der betød, at læger, sygeplejersker og andre ikke kunne få adgang til oplysningerne i patient-journalerne og dermed potentielt livsvigtige oplysninger om patienterne.
Det store nedbrud blev initieret af en strømafbrydelse i Holstebro, hvor regionens EPJ-server er placeret.
Kædereaktion
Herefter fulgte en række følgevirkninger, der begyndte med, at nødgeneratoren svigtede. Tilsammen førte kæden af følgevirkninger til det totale nedbrud lørdag ved 18-tiden.
Midt-EPJ var først fuld funktionsdygtig igen sent søndag.
Du kan læse mere om, hvordan det store nedbrud forløb her: Stort dansk EPJ-system ramt af totalt nedbrud.
It-driftchef Peter Bruun Nielsen betegner nedbruddet som et 'worst case scenario,' hvor hele datacenteret går ud.
"Det var jo meget alvorligt, og set i bakspejlet klarede vi ikke testen godt nok, selv om vi kom igennem til sidst. Vi er faktisk meget kede af det," siger han til Computerworld.
Ingen fuld total disaster recovery-test
Problemet blev ikke mindre af, at Region Midtjylland ifølge flere it-folk med kendskab til sagen, som Computerworld har været i kontakt med, aldrig har gennemført en total afprøvning af nød-procedurerne i det livsvigtige EPJ-system.
Det bekræfter Peter Bruun Nielsen.
"Vi har aldrig udført en fuld test af datacenteret, hvor vi slukker det hele. Der er en kompleksitet i det nuværende system, der gør, at vi ikke kan udføre en total disaster recovery," siger han til Computerworld.
Han fortæller, at den ramte nødgenerator - der ikke gik i gang, som den skulle - imidlertid bliver prøvestartet én gang om måneden og senest fungerede, som den skulle.
Backup i systemvinduer - men ingen fuld test
Samtidig afvikles regionens skrabede readonly-backup system, Opslags-EPJ, jævnligt i system-vinduer, der typisk ligger om natten.
Opslags-EPJ svigtede imidlertid også i weekenden.
"Vi havde et system-vindue for nylig uden problemer. Men i weekenden opstod der en fejl, så der ikke var kontakt. Nu skal vi ned at kigge på, hvordan vi får ændret Opslags-EPJ, så det ikke sker igen," siger Peter Bruun Nielsen.
"Normalt lukker vi Midt-EPJ ned det ene sted og tager det op det andet sted, når vi laver system-vinduer. Men forskellen er selvfølgelig, at det er en planlagt og kontrolleret proces, hvor det i weekenden skete lige pludselig," siger Peter Bruun Nielsen.
Kører asynkront
Et af problemer med regionens EPJ-setup er, at de to datacentre - et i Holstebro i det vestjyske og et i Skejby i det østjyske - ikke kører synkront.
Det betyder, at de to databaser aldrig er identiske, selv om den ene altid vil køre Midt-EPJ, mens den anden vil køre Opslags-EPJ, der skal tage over i nødstilfælde.
Det betød, at it-folkene frygtede at tabe vigtig data, hvis de skulle tvinge Midt-EPJ over på backup-serverne i Skejby.
"Da vi stod i situationen, var det første prioritet at få Opslags-EPJ op hurtigt. Og da det viste sig umuligt, fik det prioritet at overføre Midt-EPJ til Skejby. Men det er en kompliceret proces," siger Peter Bruun Nielsen.
Det tager desuden omkring et kvarter at opstarte Opslags-EPJ.
I weekenden gik også systemets netværks-udstyr ned på grund af manglende strøm.
Og det skulle først i gang, inden serverne igen kunne genstartes.
Det er ifølge Peter Bruun Nielsen en tidskrævende proces, da mange servere skal startes - og det skal ske i en bestemt rækkefølge.
Har I ikke en beredskabsplan, som man kan følge i den her slags situationer?
"Vi har et fast vagt-setup med en 24-7 overvågningsdesk, der med det samme begynder at tage fat i vagterne, når vi får meldingen. Men med så massivt et nedbrud som dette er der brug for specialist-kompetencer, og det var en udfordring at få tilkaldt de nødvendige folk på dette tidspunkt. Det lykkedes da, men det tog tid," siger Peter Bruun Nielsen.
Midt-EPJ blev også ramt af et stort nedbrud i februar. Det kan du læse mere om her: Ramt igen og igen: Så slemt var det store EPJ-nedbrud
Læs også:
