Artikel top billede

Nødprocedurerne aldrig testet før kæmpe EPJ-nedbrud

Region Midtjylland har aldrig gennemført en fuld test-nedlukning på det vigtige EPJ-system og dets backup-systemer, der i weekenden gik helt ned i en kædereaktion af uheld og nedbrud. Se her, hvad der gik galt.

Region Midtjylland med knap 1,3 millioner indbyggere har aldrig gennemført en komplet nød-test - en total disaster recovery - af regionens store EPJ-system, Midt-EPJ.

Og i weekenden gik det galt.

Her blev hele regionens EPJ-system ramt af et langvarigt og totalt nedbrud, der betød, at læger, sygeplejersker og andre ikke kunne få adgang til oplysningerne i patient-journalerne og dermed potentielt livsvigtige oplysninger om patienterne.

Det store nedbrud blev initieret af en strømafbrydelse i Holstebro, hvor regionens EPJ-server er placeret.

Kædereaktion

Herefter fulgte en række følgevirkninger, der begyndte med, at nødgeneratoren svigtede. Tilsammen førte kæden af følgevirkninger til det totale nedbrud lørdag ved 18-tiden.

Midt-EPJ var først fuld funktionsdygtig igen sent søndag.

Du kan læse mere om, hvordan det store nedbrud forløb her: Stort dansk EPJ-system ramt af totalt nedbrud.

It-driftchef Peter Bruun Nielsen betegner nedbruddet som et 'worst case scenario,' hvor hele datacenteret går ud.

"Det var jo meget alvorligt, og set i bakspejlet klarede vi ikke testen godt nok, selv om vi kom igennem til sidst. Vi er faktisk meget kede af det," siger han til Computerworld.

Ingen fuld total disaster recovery-test

Problemet blev ikke mindre af, at Region Midtjylland ifølge flere it-folk med kendskab til sagen, som Computerworld har været i kontakt med, aldrig har gennemført en total afprøvning af nød-procedurerne i det livsvigtige EPJ-system.

Det bekræfter Peter Bruun Nielsen.

"Vi har aldrig udført en fuld test af datacenteret, hvor vi slukker det hele. Der er en kompleksitet i det nuværende system, der gør, at vi ikke kan udføre en total disaster recovery," siger han til Computerworld.

Han fortæller, at den ramte nødgenerator - der ikke gik i gang, som den skulle - imidlertid bliver prøvestartet én gang om måneden og senest fungerede, som den skulle.

Backup i systemvinduer - men ingen fuld test

Samtidig afvikles regionens skrabede readonly-backup system, Opslags-EPJ, jævnligt i system-vinduer, der typisk ligger om natten.

Opslags-EPJ svigtede imidlertid også i weekenden.

"Vi havde et system-vindue for nylig uden problemer. Men i weekenden opstod der en fejl, så der ikke var kontakt. Nu skal vi ned at kigge på, hvordan vi får ændret Opslags-EPJ, så det ikke sker igen," siger Peter Bruun Nielsen.

"Normalt lukker vi Midt-EPJ ned det ene sted og tager det op det andet sted, når vi laver system-vinduer. Men forskellen er selvfølgelig, at det er en planlagt og kontrolleret proces, hvor det i weekenden skete lige pludselig," siger Peter Bruun Nielsen.

Kører asynkront

Et af problemer med regionens EPJ-setup er, at de to datacentre - et i Holstebro i det vestjyske og et i Skejby i det østjyske - ikke kører synkront.

Det betyder, at de to databaser aldrig er identiske, selv om den ene altid vil køre Midt-EPJ, mens den anden vil køre Opslags-EPJ, der skal tage over i nødstilfælde.

Det betød, at it-folkene frygtede at tabe vigtig data, hvis de skulle tvinge Midt-EPJ over på backup-serverne i Skejby.

"Da vi stod i situationen, var det første prioritet at få Opslags-EPJ op hurtigt. Og da det viste sig umuligt, fik det prioritet at overføre Midt-EPJ til Skejby. Men det er en kompliceret proces," siger Peter Bruun Nielsen.

Det tager desuden omkring et kvarter at opstarte Opslags-EPJ.

I weekenden gik også systemets netværks-udstyr ned på grund af manglende strøm.

Og det skulle først i gang, inden serverne igen kunne genstartes.

Det er ifølge Peter Bruun Nielsen en tidskrævende proces, da mange servere skal startes - og det skal ske i en bestemt rækkefølge.

Har I ikke en beredskabsplan, som man kan følge i den her slags situationer?

"Vi har et fast vagt-setup med en 24-7 overvågningsdesk, der med det samme begynder at tage fat i vagterne, når vi får meldingen. Men med så massivt et nedbrud som dette er der brug for specialist-kompetencer, og det var en udfordring at få tilkaldt de nødvendige folk på dette tidspunkt. Det lykkedes da, men det tog tid," siger Peter Bruun Nielsen.

Midt-EPJ blev også ramt af et stort nedbrud i februar. Det kan du læse mere om her: Ramt igen og igen: Så slemt var det store EPJ-nedbrud

Læs også:

Stort dansk EPJ-system ramt af totalt nedbrud

Ramt igen og igen: Så slemt var det store EPJ-nedbrud




Brancheguiden
Brancheguide logo
Opdateres dagligt:
Den største og
mest komplette
oversigt
over danske
it-virksomheder
Hvad kan de? Hvor store er de? Hvor bor de?
EG A/S
Udvikling, salg, implementering og support af software og it-løsninger til ERP, CRM, BA, BI, e-handel og portaler. Infrastrukturløsninger og hardware. Fokus på brancheløsninger.

Nøgletal og mere info om virksomheden
Skal din virksomhed med i Guiden? Klik her

Kommende events
AI i praksis: Fokus på teknologi og best practice

Tag med os på en rejse ind i AI’s verden, hvor vi udforsker anvendelsesmulighederne og belyser, hvordan AI kan gøre en positiv forskel. Vi kigger nærmere på de teknologier og platforme, som det kan give mening for din virksomhed at satse på, og eksperterne giver dig gode råd til, hvordan man kan arbejde innovativt og agilt med kunstig intelligens-løsninger.

19. august 2021 | Læs mere


MS Power Platform - hvad kan det for dig?

Med Microsoft Power Platform kan virksomhederne både visualisere og dele deres data helt uden kendskab til at kunne kode og digitalisere arbejdsgange. Hør hvordan en række danske virksomheder anvender platformen i store dele af virksomheden – og med succes.

24. august 2021 | Læs mere


Opgøret med legacy-systemer: Få styr på mulighederne, planen og businesscasen

I en verden hvor alt forandres konstant, og hvor kravene til virksomhedernes digitale formåen vokser, er der stadig mange organisationer og virksomheder, der bliver hæmmet af deres legacy-systemer. Det kan være en lang og hård rejse at afskaffe disse systemer, men på sigt kan virksomhederne høste frugt af deres arbejde.

25. august 2021 | Læs mere






Premium
Tech-giganters regnskaber overgik forventningerne, men investorerne frygter for fremtiden
Computerviews: De store tech-giganter har igen haft et kvartal med massiv vækst. Men selskabernes regnskaber blev modtaget køligt på aktiemarkeder, der frygter, at tiden efter coronakrisen vil byde på lavere vækstrater.
Computerworld
Hent opdateringerne nu: Apple lapper gabende sikkerhedshuller til iPhone, iPad og Mac
En sårbarhed gjorde det muligt for hackere at overtage kontrollen med din iPhone, iPad eller Mac. Det er 13. gang i år, at Apple lukker en nuldagssårbarhed.
CIO
Årets CIO 2021: Nu skal Danmarks dygtigste CIO findes - er det dig? Eller kender du en, du vil indstille?
Det er den mest eftertragtede titel for danske it-chefer og CIO'er, der er på spil, når Årets CIO kåres 16. september 2021. Søg selv eller prik til en, som du kender - og læs mere om prisen her.
Job & Karriere
Så meget kan du tjene: Disse stillinger giver den højeste løn i den danske it-branche lige nu
Du skal have ledelsesansvar, hvis du vil helt tops i lønhierakiet i den danske it-branche, viser nye tal. Se hvor meget du kan tjene i de stillinger i it-branchen, der giver den højeste månedsløn lige nu.
White paper
End-to-end Server Security: Hvad er det – og hvordan kan det styrke din forretning?
Hvorfor bør serverbaseret sikkerhed være en kritisk del af din sikkerhedsinfrastruktur – og hvordan sikrer du, at din hardware kan leve op til kravene? Læs mere i dette whitepaper.