Derfor gik jyske sygehuse i sort


Publiceret d. 16. oktober 2008 kl. 15.01 | Antal kommentarer (7)


Annonce:
 
ANNONCE:
 
En stribe jyske sygehuse har været udsat for et massivt nedbrud hvor de systemer, der håndterer de digitale patientjournaler har været nede i 10 timer.

Fejlen skyldes, at systemet ikke kunne læse på diskene. Det står nu klart, efter sygehus-væsnet har gået nedbruddet efter i sømmene.

"Vi afvikler EPJ-systemet på to noder," fortæller hospitalsdirektør Ole Thomsen fra Århus Universitetshospital til Computerworld.

"Det er uheldigvis sket det, at systemet har slettet en såkaldt device-fil. I praksis betyder det, at systemet har slettet sin egen adgang til de diske, som det betjener sig af."

"Fejlen er blevet spejlet til node to, hvilket helt har lukket adgangen til diskene. Derved går det hele i stå," siger Ole Thomsen.

"Det er således ikke backuppen, men spejlingen, der har fejlet," forklarer han.

Mand eller software
Teknikerne kender endnu ikke grunden til, at der blev lukket for adgangen til diskene.

"I øjeblikket er der to muligheder. Enten er det en software-fejl, ellers kan der være tale om en menneskelig fejl," siger Ole Thomsen.

Systemerne er nu blevet gendannet efter almindelige backup-rutiner.

"Fire timer før vi fik problemet, blev der foretaget en backup," forklarer hospitalsdirektøren.

"Backuppen blev indlæst, maskinerne genstartet og derefter fik vi systemet i luften igen."

Også i hovedstanden har der været it-kaos. Her var det it-systemet, der håndterer de digitale recepter, som blev sendt til tælling.




Kommentarer - Debatoversigt


Det viser jo bare
7 indlæg

At en af de ting, som spejling er bedst til, er at fordoble dine fejl.

Morten Fordsmand skrev:
At en af de ting, som spejling er bedst til, er at fordoble dine fejl.


Jeg synes de fleste fejl vi ser skyldes problemer med clustre og SAN'er. Clustre kan man vist altid undvære, og det sænker nok kompleksiteten til en tredjedel med det samme. SAN'er ikke altid noget man kan undgå, men hvis man kan bruge DASD er det en gigantisk forenkling.

Jeg kunne iøvrigt godt tænke mig at vide, om der er tale om HW-baseret RAID-10 eller f.eks. det der forfærdelige RAID-5-spejling (nogle gange endda SW-baseret) som vi ser visse steder.

Mvh.

Mogens


Mogens Nørgaard skrev:
SAN'er ikke altid noget man kan undgå, men hvis man kan bruge DASD er det en gigantisk forenkling.

Jeg kunne iøvrigt godt tænke mig at vide, om der er tale om HW-baseret RAID-10 eller f.eks. det der forfærdelige RAID-5-spejling (nogle gange endda SW-baseret) som vi ser visse steder.

Mvh.

Mogens


Du mener DAS som i Direct Attached Storage, og ikke DASD som er en gammel mainframe betegnelse for at differentiere mellem disk og tape.

Artiklen er lidt vag mht. hvad ordet spejling dækker. Men RAID-5 eller RAID-10 i storage controllers er logisk sammenkobling og beskyttelse af diske mod diskfejl.

Spejling er når data spejles synkromt eller asynkront til en anden storage controller der står et andet sted, enten vha. host eller controller.(Kunne godt være den samme controller men giver ikke meget mening)

Hvis deres software har slettet data, altså en logisk fejl er der ingen af disse teknologier der beskytter dem. Så er det frem med tegnebogen til Oracle DataGuard med asynkron commit på 1 time, eller lignende teknologier.


Thomas Frederiksen skrev:
Du mener DAS som i Direct Attached Storage, og ikke DASD som er en gammel mainframe betegnelse for at differentiere mellem disk og tape.

Artiklen er lidt vag mht. hvad ordet spejling dækker. Men RAID-5 eller RAID-10 i storage controllers er logisk sammenkobling og beskyttelse af diske mod diskfejl.

Spejling er når data spejles synkromt eller asynkront til en anden storage controller der står et andet sted, enten vha. host eller controller.(Kunne godt være den samme controller men giver ikke meget mening)

Hvis deres software har slettet data, altså en logisk fejl er der ingen af disse teknologier der beskytter dem. Så er det frem med tegnebogen til Oracle DataGuard med asynkron commit på 1 time, eller lignende teknologier.


Nu var det Oracle på Solaris på et EMC SAN, hvor SAN'et
http://www.version2.dk/ (...)

Så det er nok RAIDS der køres på EMC boxen.

Men Mogens har ret. Hvis man kan undgå at skulle Clustre så vil jeg også personlig undgå det, KISS giver gerne en bedre oppetid. Man kan så bruge de penge man sparer på at købe noget ordentlig Jern.

SAN er noget som fanden har skabt, det er sku blevet for komplekst de fleste steder. Altså hvis du bare har Windows,Linux,Unix 1 og Unix 2, 2-3 forskellige typer storage boxe måske 2 slags switch og 3 forskellige typer MPIO software,
2 til 3 forskellige server virtualizerings lag, forskellige Logical Volume mangers kørende i dit data center. Så har du 432 forskellige mulige kombinationer af løsnings stak fra din database slipper skrivningen til den rammer disken. Og det er så bare til SAN, der er så nok også noget iSCSI,NFS,CIFS,SAS,SCSI...... ARRRRGHHH!!!

Det kan din IT afdeling jo ikke overskue.

Og så har man som regel splittet afdelingerne op i en
Unix afdeling
en Windows afdeling
Måske endda en afdeling til SAN og en til Storage.

Så når der er et problem så kan man være sikker på at det ikke er til at overskue og at fingrene peger i forskellige retninger.

Jeg har selv været en del af sjove og belastende situationer

Hvor skulle vi vide fra at vi ikke kunne fjerne først den ene og så den anden SAN Switch som I var redundant forbundet til. Windows afdelingen kører da med dynamisk tracking af LUNS på deres servers gør I ikke det i UNIX ? UNIX politikken var at køre med statisk opdatering. Så det tog en weekend at få ryddet op i spejlet. Torsdagen efter skete det så igen.

Well disk boxen har masser af cache og kører meget stærkt, så vi kan altså ikke give jer flere LUN'er det er jo også komplekst at administrere mange diske. Kommentar til at jeg gerne ville have flere diske da en kæmpe LUN kun gave 20MB/Sek og 200 IO/SEK. Det tog en del henvisninger til manualen og fairness algoritmer at få mere disk.

Tja..

Er det så bedre med DASD, det hedder altså DASD :)= for os oldies, Tja der skulle man jo lave det hele selv... og det var ikke særlig effektivt, ikke så hurtigt at lave backup... meeen.. hmm.. ja.. jeg ved ikke...


// Jesper


Jesper Frimann skrev:
Er det så bedre med DASD, det hedder altså DASD :)= for os oldies, Tja der skulle man jo lave det hele selv... og det var ikke særlig effektivt, ikke så hurtigt at lave backup... meeen.. hmm.. ja.. jeg ved ikke...


// Jesper


Ifølge artiklen som du har link til er det indtil videre en fejl i Powerpath. Så hvis du husker tilbage anvendte vi også denne software før SAN. Der hed den måske noget andet ... men du kan vel huske DPO/SDD til dine direkte opkoblede SCSI adapters. Nu nævner jeg det fordi de tal du opgav der minder om en ret udbredt legacy controller der har de I/O specifikationer.

Men jeg giver dig da fundamentalt ret i at det er komplekst, du kunne vel ikke lige hive den kunde du refererer til op på niveau med:

chdev -l fscsiX -a dyntrk=yes

I min verden hedder det SAN, NAS, DAS. DASD er dem alle tre da det er betegnelsen for selve disk controlleren.


Thomas Frederiksen skrev:
I min verden hedder det SAN, NAS, DAS. DASD er dem alle tre da det er betegnelsen for selve disk controlleren.


Det er garanteret mig, der husker forkert. Jeg syntes, at DASD stod for Direct(ly) Attached Storage Device, dvs. en disk eller tapestation koblet direkte på maskinen. Men det ER sket nogle få hundrede gange før, at jeg har husket helt forkert ).

Anyway, med EMC sætter de tit det der underlige RAID-S op, og jeg plejer at sige (med tungen i kinden og alt det dér), at sådan et S minder rigtigt meget om et 5-tal.

Mvh.

Mogens


Thomas Frederiksen skrev:
Ifølge artiklen som du har link til er det indtil videre en fejl i Powerpath.



Der står jo ikke, at det er powerpath bare at det er en path component, det kan lige så godt være en port,et kabel, en switch, eller en Controller. Powerpath plejer at være ok, selv om det er alt for dyrt e\
fter min mening.
Så hvis du husker tilbage anvendte vi også denne software før SAN. Der hed den måske noget andet ... men du kan vel huske DPO/SDD til dine direkte opkoblede SCSI adapters. Nu nævner jeg det fordi de tal du \
opgav der minder om en ret udbredt legacy controller der har de I/O specifikationer.


Jeg har nu altid haft en forkærlighed for SSA (Serial Storage Architecture) der var indbygget multipathing i. Så man kunne lave en konfiguration hvor 4 maskiner med hver 2 adaptorer kunne deles om en pool \
diske. Og man kunne fjerne kabler uden problemer så længe der bare var en path til disken. Synes det var genialt at man bare kunne chain'e diskene sammen.

Men jeg giver dig da fundamentalt ret i at det er komplekst, du kunne vel ikke lige hive den kunde du refererer til op på niveau med:

chdev -l fscsiX -a dyntrk=yes



Det er nogle år siden. Men dynamisk tracking løser ikke alle problemer og man frygtede at det blev lidt en sovepude. Men jeg ville da så absolut slå det til i dag som default.
Men hvis man skal have ryddet op i sit SAN rod med spejlinger og andet L*** synes jeg personlig stadig at de bedste løsninger er netapp's metro cluster og IBM's SVC.

I min verden hedder det SAN, NAS, DAS. DASD er dem alle tre da det er betegnelsen for selve disk controlleren.


Kært barn har mange navne.

Men God weekend

// Jesper


Kommentér
Titel:

Ytringer på debatten er afsenders eget ansvar - læs debatreglerne

Forsiden lige nu

Portræt: Et karrierevalg mellem bigband-sanger eller it-mand. Det lyder måske som to vidt forskellige verdener, men der er faktisk masser af musik i it-branchen, fortæller Jan Bau.
25. maj 2012 kl. 15.02 | læs »

Klumme: Angrebet fra Flashback viser, at Apple nu må tage sikkerheden på Mac alvorligt, skriver Shehzad Ahmad fra DK-CERT i sin månedlige klumme
25. maj 2012 kl. 14.30 | læs »

I flere områder af landet skal et nu konkursramt firma være garant for bredbånds-forbindelser.
25. maj 2012 kl. 11.40 | læs »

Landbrugsorganisation er godt sur i skralden over, at landmænd i randområder skal bestille bredbånd hos konkursramt firma.
25. maj 2012 kl. 14.04 | læs »





 
White papers
En lang række virksomheder er blevet afhængige af en bred vifte teknologier, der bl.a. skal være...

Efter at have investeret i en mobilløsning til hjemmeplejen indså Århus Kommune hurtigt, at der...

Fuld projektkontrol Opnå fuld kontrol med dine projekter, hvor såvel dokumentation, vidensdeling...

 


Mest læste seneste uge

Kan gratis sikkerhedssoftware virkelig beskytte din pc? Svaret er ja, hvis du vælger det rette produkt. Læs her en test af de mest pålidelige gratis sikkerhedsprogrammer.

Næsten 200 IBM-ansatte får med få timers varsel sidste arbejdsdag i dag. Ingen var orienteret forud for dagens massefyring, som effektueres øjeblikkeligt.

Flyselskabet SAS har brugt op mod trekvart milliarder kroner og seks år på at udskifte sit bookingsystem. Undervejs har der været flere projekt-udfordringer, som kulminerede en vinternat med en big bang-migrering.

To danske it-studerende har udviklet et program, der kan suge kundernes CPR-numre ud af teleselskaberne.

Her er forklaringen på, at IBM Danmark med direktør Lars Mikkelgaard-Jensen i spidsen fyrer 170 medarbejdere.