Hidtil har Carlsberg overladt det til IBM at teste failover.
De er dog foregået under kontrollerede forhold, hvilket ikke garanterer, at failover rent faktisk fungerer, når de uventede nedbrud sker.
“IBM fortæller os, at man foretager test af failover, men det er kontrollerede test. De kontrollerede test har været udført i servicevinduer, hvor der alligevel skulle laves opgraderinger af firmware eller lignende," siger Peter Holmberg, direktør for IT services hos Carlsberg.
"Så har der været lukket ned for systemerne et sted og der har så været failover, hvor systemerne kører videre et andet sted. Det har fungeret. Men en ting er at lave en kontrolleret nedlukning af et system, hvor man først lukker pænt ned for en service og derefter slukker for noget hardware. Der gør man det i en sekvens, hvor man ved, at der ikke sker det store. En anden ting er simpelthen at trække stikket,” siger han.
Den erfarne datacenter konsulent Josh Krischer betegner en test af failover under kontrollerede forhold som en ufuldstændig test.
Der er tale om en halv test, hvor man lukker systemerne pænt ned, inden der udføres en failover. vurderer Josh Krischer.
Josh Krischer, der har mere end 30 års erfaring med datacentre og disaster recovery, understreger, at han ikke kender detaljerne i IBM’s danske datacentre, men fremhæver vigtigheden af en ordentlig failover-test.
Hvis man kun laver failover under kontrollerede forhold, får man eksempelvis aldrig testet, om en failover i tilfælde af et virkeligt nedbrud sikrer konsistens i spejlede data.
“Hvis man tester ved at lukke applikationer ned på det primære site og derefter laver recovery på det sekundære site, er det ikke en rigtig katastrofe. Der er ingen opdateringer, når der er lukket ned på det primære site, så vi ved ikke, om datakonsistens bevares. Hvis data ikke er konsistente, kan det tage dage at komme sig over et nedbrud,” siger Josh Krischer.
Test i samarbejde med IBM
For Carlsberg er det vigtigt, at failover fungerer i de tilfælde, hvor der er mest brug for det – i rigtige fejlsituationer.
“Vi er blevet opmærksomme på, at dette er et område, det er vigtigt at få styr på. Vi bliver nødt til at stramme op om nogle ting,” siger Peter Holmberg.
“Fremover kommer vi til at arbejde meget intenst med IBM om at teste failover. Vi har forventet, at sådan nogle ting virkede, men vi så 9. april, at det ikke er tilfældet,” siger Peter Holmberg.
Ifølge Carlsbergs kontrakt med IBM skal failover af Carlsbergs kritiske systemer ske inden for en time i tilfælde af nedbrud.
Ved IBM-nedbruddet 9. april gik der otte timer, inden it-systemerne var tilgængelige for Carlsbergs medarbejdere.
Ifølge Peter Holmberg er det endnu for tidligt at sige, hvordan det rent praktiske samarbejde mellem IBM og Carlsberg om test af failover skal foregå.
“Vi har faktisk lige haft møde om det. Planen er startet. Det er for tidligt at sige, hvornår første test løber af stablen. Efter sommerferien har vi en mere detaljeret planlægning,” siger Peter Holmberg.
Ifølge Peter Holmberg er det også for tidligt at udtale sig om, hvor vidt eksterne auditører skal være med til at gennemføre failover-test.
Definition af målbare test
Noget helt centralt for Carlsberg er at få defineret, hvordan og hvor ofte der testes failover.
Samtidig skal der defineres målbare resultater og dokumentation for failover-test.
“Vi vil arbejde med IBM om at lave målinger på det her. Der skal være jævnlige test, mindst en gang om året eller lignende. Det er vigtigt, at vi definerer, hvordan vi tester. Jeg kan se, at vi bliver nødt til at være med inde over for at sikre, at de ting, der virkelig går galt, også bliver testet. Eksempelvis at strømmen går, eller et datacenter går ned. Vi skal eksperimentere med de situationer ved at tage strømmen fra en maskine for at se, om failover fungerer,” siger Peter Holmberg.
KPI'er skal defineres
I den kommende tid vil Carlsberg gå i gang med at definere såkaldte KPI’er (key performance indicators), så failover-test er dokumenterede og målbare.
“Vi har en kontrakt, hvor der står, at det her skal fungere, og at der skal laves test på det. Det har været oppe at vende i management-teamet, hvor man har sagt, at vi bliver nødt til at definere KPI for det her. Nu strammer vi op og siger, vi vil have defineret KPI’er, der præcist siger, hvornår, hvor mange gange og hvordan dokumentationen skal være," siger Peter Holmberg.
Han peger på, at det vil sikre, at IBM gør det.
"Desuden får vi dokumentation for de test, der er gennemført, samt hvad resultatet af de test er. Den slags detaljer vil være beskrevet efter sommerferien,” siger han.
Fejl kan ske
Selv om failover-test bliver mere realistiske, kan de dog ikke give en evig fejlfri service.
Josh Krischer fremhæver, at især menneskelige fejl er svære at gardere sig imod, og mener, at de, der måtte give en 100 procents garanti for, at det virker, er løgnere.
Peter Holmberg er klar over, at der ikke kan udstedes garantier mod nedbrud.
“Det er useriøst at bede om en hundrede procents garanti mod nedbrud, men man kan godt teste nogle helt banale ting, som at man tager strømmen og ser, om man falder over på et andet system,” siger Peter Holmberg.
IBM’s reaktion
På spørgsmålet om hvordan IBM har taget imod Carlsbergs krav om at medvirke i testen af failover, lyder det fra Peter Holmberg:
“Jaa...”
Derefter er der en lang pause, inden han fortsætter:
“IBM er godt klar over, at disse test er en del af vores kontrakt. Vi har ikke presset på for at få dem udført ud fra den betragtning, at selvfølgelig virker det. Vi har så fået bevist, at det ikke altid er tilfældet og vil gerne sikre os, at det virker fremover. Reaktionen har været, at man ikke er modvillig over for det, men det er en stor opgave, der kræver ressourcer. Indtil videre har jeg ikke mødt modstand. Vi har så heller ikke haft de detaljerede diskussioner endnu,” siger Peter Holmberg.
Computerworld har kontaktet IBM flere gange for at få en kommentar, men IBM ønsker ikke at udtale sig om nedbruddet 9. april, IBM’s datacentre, eller hvordan test af failover foretages.
