"Det var en grundig test af, at vores beredskab fungerer."
Sådan siger it-direktør hos JP/Politikens hus Per Palmkvist Knudsen efter mandagens nedbrud, hvor 500 overophedede servere resulterede i, at tre større dagblade forsvandt fra nettet, og at visse systemer til mediekoncernens avisredaktioner strejkede få timer før deadline på omkring 70 lokalaviser.
Problemet opstod kort efter klokken 13, hvor temperaturen i et af koncernens serverrum pludselig steg til en temperatur, hvor de fysiske servere med en lang række virtualisrerede maskiner ovenpå, begyndte at lukke ned af sikkerhedshensyn.
JP/Politikens Hus har omkring 30 fysiske servere på forskellige lokationer, som tilsammen indeholder omkring 500 virtuelle servere med et hav af funktioner.
"En del af vores driftskoncept er at have flere servercentre, så vi kan køre videre, også når sådan noget her sker," siger Per Palmkvist Knudsen.
Åbnede døre og startede flytning
Ifølge it-direktøren begyndte it-folkene et tosporet arbejde for at løse problemet i serverrummet, hvor temperaturer omkring 50 grader viste sig at skyldes en defekt sikring i styringssystemet til et køleanlæg.
Af endnu ukendte årsager undlod systemet at alarmere om fejlen, og lukkede oven i købet også for kølingen.
Derfor var det først muligt at gribe ind sent i forløbet. Og da var serverne efterhånden lukket ned med forsvundne dagbladshjemmesider til følge.
"Folk blev sendt derned for at få åbnet op for døre og hvad vi ellers kunne finde på. Og det var så nok til, i første omgang at få temperaturen ned på et tåleligt leje," siger Per Palmkvist Knudsen.
Samtidig startede it-afdelingen det beredskab, som skal sørge for at flytte de ramte servere til en anden placering i et alternativt serverrum.
Ifølge Per Palmkvist Knudsen er det forholdsvis kompliceret at få Ekstra Bladet og Jyllands-Posten genstartet. Udfordringen består i, at der er rigtigt mange servere i avisernes set-up.
"Det er ikke lige sådan at gøre. Men det gik faktisk forholdsvis hurtigt," siger it-direktør Per Palmkvist Knudsen.
Han fortæller, at flere af serverne, eksempelvis koncernens telefonanlæg, helt automatisk skifter servercenter ved problemer. Imidlertid skal der gribes manuelt ind på andre servere, for at det hele starter rigtigt.
"En genstart i en intens situation er altid lidt vanskelig, men det lykkedes," siger Per Palmkvist Knudsen, der ser flytningen og genstarten af de berørte servere indenfor halvanden time som en stor succes.
Han mener, at årsagen til mandagens hektiske flytning, den sprungne sikring, er et eksempel på den gamle lektie om, at man bør have øje for de helt simple fysiske ting, når man sidder med kommandoen over it-systemer.
"Det er jo typisk simple fysiske ting, der lammer moderne it-installationer. Det er i virkeligheden ret enkle ting, der udløser det," siger Per Palmkvist Knudsen.
