Artikel top billede

Nødprocedurerne aldrig testet før kæmpe EPJ-nedbrud

Region Midtjylland har aldrig gennemført en fuld test-nedlukning på det vigtige EPJ-system og dets backup-systemer, der i weekenden gik helt ned i en kædereaktion af uheld og nedbrud. Se her, hvad der gik galt.

Region Midtjylland med knap 1,3 millioner indbyggere har aldrig gennemført en komplet nød-test - en total disaster recovery - af regionens store EPJ-system, Midt-EPJ.

Og i weekenden gik det galt.

Her blev hele regionens EPJ-system ramt af et langvarigt og totalt nedbrud, der betød, at læger, sygeplejersker og andre ikke kunne få adgang til oplysningerne i patient-journalerne og dermed potentielt livsvigtige oplysninger om patienterne.

Det store nedbrud blev initieret af en strømafbrydelse i Holstebro, hvor regionens EPJ-server er placeret.

Kædereaktion

Herefter fulgte en række følgevirkninger, der begyndte med, at nødgeneratoren svigtede. Tilsammen førte kæden af følgevirkninger til det totale nedbrud lørdag ved 18-tiden.

Midt-EPJ var først fuld funktionsdygtig igen sent søndag.

Du kan læse mere om, hvordan det store nedbrud forløb her: Stort dansk EPJ-system ramt af totalt nedbrud.

It-driftchef Peter Bruun Nielsen betegner nedbruddet som et 'worst case scenario,' hvor hele datacenteret går ud.

"Det var jo meget alvorligt, og set i bakspejlet klarede vi ikke testen godt nok, selv om vi kom igennem til sidst. Vi er faktisk meget kede af det," siger han til Computerworld.

Ingen fuld total disaster recovery-test

Problemet blev ikke mindre af, at Region Midtjylland ifølge flere it-folk med kendskab til sagen, som Computerworld har været i kontakt med, aldrig har gennemført en total afprøvning af nød-procedurerne i det livsvigtige EPJ-system.

Det bekræfter Peter Bruun Nielsen.

"Vi har aldrig udført en fuld test af datacenteret, hvor vi slukker det hele. Der er en kompleksitet i det nuværende system, der gør, at vi ikke kan udføre en total disaster recovery," siger han til Computerworld.

Han fortæller, at den ramte nødgenerator - der ikke gik i gang, som den skulle - imidlertid bliver prøvestartet én gang om måneden og senest fungerede, som den skulle.

Backup i systemvinduer - men ingen fuld test

Samtidig afvikles regionens skrabede readonly-backup system, Opslags-EPJ, jævnligt i system-vinduer, der typisk ligger om natten.

Opslags-EPJ svigtede imidlertid også i weekenden.

"Vi havde et system-vindue for nylig uden problemer. Men i weekenden opstod der en fejl, så der ikke var kontakt. Nu skal vi ned at kigge på, hvordan vi får ændret Opslags-EPJ, så det ikke sker igen," siger Peter Bruun Nielsen.

"Normalt lukker vi Midt-EPJ ned det ene sted og tager det op det andet sted, når vi laver system-vinduer. Men forskellen er selvfølgelig, at det er en planlagt og kontrolleret proces, hvor det i weekenden skete lige pludselig," siger Peter Bruun Nielsen.

Kører asynkront

Et af problemer med regionens EPJ-setup er, at de to datacentre - et i Holstebro i det vestjyske og et i Skejby i det østjyske - ikke kører synkront.

Det betyder, at de to databaser aldrig er identiske, selv om den ene altid vil køre Midt-EPJ, mens den anden vil køre Opslags-EPJ, der skal tage over i nødstilfælde.

Det betød, at it-folkene frygtede at tabe vigtig data, hvis de skulle tvinge Midt-EPJ over på backup-serverne i Skejby.

"Da vi stod i situationen, var det første prioritet at få Opslags-EPJ op hurtigt. Og da det viste sig umuligt, fik det prioritet at overføre Midt-EPJ til Skejby. Men det er en kompliceret proces," siger Peter Bruun Nielsen.

Det tager desuden omkring et kvarter at opstarte Opslags-EPJ.

I weekenden gik også systemets netværks-udstyr ned på grund af manglende strøm.

Og det skulle først i gang, inden serverne igen kunne genstartes.

Det er ifølge Peter Bruun Nielsen en tidskrævende proces, da mange servere skal startes - og det skal ske i en bestemt rækkefølge.

Har I ikke en beredskabsplan, som man kan følge i den her slags situationer?

"Vi har et fast vagt-setup med en 24-7 overvågningsdesk, der med det samme begynder at tage fat i vagterne, når vi får meldingen. Men med så massivt et nedbrud som dette er der brug for specialist-kompetencer, og det var en udfordring at få tilkaldt de nødvendige folk på dette tidspunkt. Det lykkedes da, men det tog tid," siger Peter Bruun Nielsen.

Midt-EPJ blev også ramt af et stort nedbrud i februar. Det kan du læse mere om her: Ramt igen og igen: Så slemt var det store EPJ-nedbrud

Læs også:

Stort dansk EPJ-system ramt af totalt nedbrud

Ramt igen og igen: Så slemt var det store EPJ-nedbrud




Brancheguiden
Brancheguide logo
Opdateres dagligt:
Den største og
mest komplette
oversigt
over danske
it-virksomheder
Hvad kan de? Hvor store er de? Hvor bor de?
Also A/S
Salg af serviceydelser inden for logistik, finansiering, fragt og levering, helhedsløsninger, digitale tjenester og individuelle it-løsninger.

Nøgletal og mere info om virksomheden
Skal din virksomhed med i Guiden? Klik her

Kommende events
Hjemmearbejdets påvirkning på trivsel, helbred og arbejdsmiljø

Fremtidens arbejdsplads er hybrid, det er der ingen tvivl om. Men hvad fører det egentlig med sig? Og hvordan omstiller du og din arbejdsplads sig til det? Det kan du blive klogere på, på denne digitale konference.

02. februar 2022 | Læs mere


GDPR - persondatabeskyttelse i praksis

Håndteringen af persondata og GDPR er for længst blevet hverdag hos de danske organisationer, men derfor er det til stadighed vigtigt og altafgørende, at den løbende overholdelse af GDPR er på plads. Vær med og hør, hvordan du ved hjælp af processuelle greb, værktøjer og systemer kan sikre dette.

08. februar 2022 | Læs mere


Analytics, BI og data science: Data-behandling i realtid

Datadrevne løsninger er godt på vej til at vinde indpas i næsten alle industrier - og med god grund. For der er store muligheder i at kunne forstå, fortolke og reagere lynhurtigt på de store datamængder, som alle organisationer genererer. På dette seminar kan du høre om nogle af de bedste eksempler inden for praktisk anvendelse af avanceret data-analyse, hvordan du kommer i gang, og hvordan du kan høste udbytte.

22. februar 2022 | Læs mere






CIO
Sådan tager top-CIO Pernille Geneser livtag med 40 år gamle it-systemer i Stark Group med 10.000 medarbejdere