Artikel top billede

Børsen efter nedbrud: Nødplaner sjældent gode nok

Dagbladet Børsen kæmpede mandag i flere timer med at genoprette avisens crashede hovedatabase. De har nu erfaret, at selv den bedste beredskabsplan ikke kan tage højde for alt.

Dagbladet Børsen blev mandag formiddag ramt af et netværksnedbrud hos leverandøren Jay.Net, som af endnu ukendte årsager bevirkede, at mediehusets hoveddatabase crashede.

Det resulterede i, at online-udgaven af erhvervsavisen i knap fire timer hverken kunne publicere nye historier på hjemmesiden eller vise aktiekursernes udvikling. 

Samtidig var alle telefoner og netforbindelser i det første kvarter døde, så det ikke var muligt at advare medarbejderne om, hvad der var sket eller hvor længe det ville stå på. 

Imidlertid kom internetforbindelsen hurtigt igen. Men kun for at afsløre et langt større problem.    
 
Master-database gik ned
"Vores database crashede på grund af netværksproblemerne. Det var nogle switche, som sendte en masse broadcast ud, og det gik ud over vores database, som kom i en mode, den ikke kunne lide," siger Klaus Jensen, der er it-chef hos Børsen.  
 
Ifølge it-chefen indeholder den ramte database alle avisens nyheder til online-versionen og en stor del af kurslisterne.
 
"Når vores master-database går ned, så er vi på den," siger Klaus Jensen, der fortæller, at den trykte avis til gengæld ikke var i fare.
 
Nedbruddet betød, at avisen måtte foretage en restore af den såkaldte master-database efter den foreliggende beredskabsplan. Men noget gik galt, og det lykkedes ikke at følge den slagne plan.
 
Børsens databasestruktur er opbygget med en master-database, som føder en række slave-databaser, der igen leverer data til front-end.
 
"Det lykkedes ikke lige helt, sådan som vi gerne ville. Vi oplevede, at vi ikke kunne få vores master-databaser op igen med konsistent data. Og så måtte vi omkring klokken halv et foretage en restore, og det tog omkring tre kvarter. Inden det hele kommer op, går der let en times tid," siger han.
 
Han fortæller, at en del af planen går ud på at omdefinere en slave-database til master. Men her drillede virkeligheden, og løsningen blev i stedet at foretage en restore fra en af slave-databaserne.
 
"Vi tog simpelthen en kopi af en slave-database og puttede ind i masteren," siger Klaus Jensen. 
 

Overbelastet backbone

Klaus Jensen fortæller, at hændelsen viser, at hver gang man har en plan, viser der sig at være en detalje, som er lidt anderledes, end man forestillede sig.
 
"Man kan sige, at beredskabsplaner ofte er meget overordnende og angiver nogle prioriteringer for i hvilken rækkefølge, tingene skal ske. Og når man så kommer ned i detaljen, så er det tit sådan, at man ikke kan skrive sig ud af det på grund af et eller andet," siger Klaus Jensen.
 
Klaus Jensen fortæller, at avisens systemer, herunder firewallen, i et vist omfang sidder på Jay.Nets core-netværk.
 
Han fortæller, at han endnu ikke har modtaget en officiel forklaring, men ifølge en mundtlige forklaring er det en switch, som laver en broadcaststorm, sådan at hele Jay.nets backbone i en kort periode gik i sort.  
  
Jay.Net oplyste mandag på firmaets hjemmeside, at selskabets core-routere mandag blev overbelastet, fordi netværkstrafikken uhensigtsmæssigt hurtigt skiftede retning i firmaets fiberringe.
 
"Overbelastningen er den direkte årsag til, at core-routerne ikke har kunnet afvikle hverken national eller international datatrafik på normal vis," skriver firmaet videre. 

Direktør for salg og marketing hos Jay.Net, Michael Meister, bekræfter overfor Computerworld, at mandagens problem skyldes en overbelastning.  

"Vores backbone består af en række core-routere. Hvis en af dem bliver overbelastet, sker der det, at trafikken failer over. Det gør, at en række af vores kunder kortvarigt mister forbindelsen," siger Michael Meister.

Må ikke ske igen 

Hos Dagbladet Børsen fortæller Klaus Jensen, at avisens systemer ellers er rimeligt godt opdelt på forskellige virtuelle netværk. Alligevel er der altså tilsyneladende noget, som skal ses efter, sådan at noget lignende ikke sker igen.
 
"Det er en af de ting, vi skal dæmme op for. Det må være en af opgaverne, sådan at vi ikke bliver lammet," siger Klaus Jensen.




Brancheguiden
Brancheguide logo
Opdateres dagligt:
Den største og
mest komplette
oversigt
over danske
it-virksomheder
Hvad kan de? Hvor store er de? Hvor bor de?
Ed A/S
Salg af hard- og software.

Nøgletal og mere info om virksomheden
Skal din virksomhed med i Guiden? Klik her

Kommende events
Compliance og strategisk it-sikkerhed efter DORA

Finansielle koncerner har i snit 85 sikkerhedsløsninger i drift – men er i snit op til 100 dage om at opdage et igangværende cyberangreb. Ydermere viser øvelser, at det typisk tager 4-6 uger at rense og genetablere sikker drift af centrale systemer efter et stort angreb. Fokus for dagen vil derfor være på henholdsvis governance samt om, hvordan du som it-leder i den finansielle sektor skal kunne håndtere fremtidens cybertrusler og arbejde effektivt med sikkerhed på et strategisk niveau.

04. april 2024 | Læs mere


EA Excellence Day

Hvad er det, der gør it-arkitektens rolle så vigtig? Og hvad er det for udfordringer inden for områder som cloud, netværk og datacentre, som fylder hos nogle af landets bedste it-arkitekter lige nu? Det kan du her høre mere om og blive inspireret af på denne konference, hvor du også får lejlighed til at drøfte dette med ligesindede.

16. april 2024 | Læs mere


IAM - din genvej til højere sikkerhed uden uautoriseret adgang og datatab

På denne dag udforsker vi de nyeste strategier, værktøjer og bedste praksis inden for IAM, med det formål at styrke virksomheders sikkerhedsposition og effektiviteten af deres adgangsstyringssystemer og dermed minimere risikoen for uautoriseret adgang og datatab. Og hvordan man kommer fra at overbevise ledelsen til rent faktisk at implementere IAM?

18. april 2024 | Læs mere