Dagbladet Børsen blev mandag formiddag ramt af et netværksnedbrud hos leverandøren Jay.Net, som af endnu ukendte årsager bevirkede, at mediehusets hoveddatabase crashede.
Det resulterede i, at online-udgaven af erhvervsavisen i knap fire timer hverken kunne publicere nye historier på hjemmesiden eller vise aktiekursernes udvikling.
Samtidig var alle telefoner og netforbindelser i det første kvarter døde, så det ikke var muligt at advare medarbejderne om, hvad der var sket eller hvor længe det ville stå på.
Imidlertid kom internetforbindelsen hurtigt igen. Men kun for at afsløre et langt større problem.
Master-database gik ned
"Vores database crashede på grund af netværksproblemerne. Det var nogle switche, som sendte en masse broadcast ud, og det gik ud over vores database, som kom i en mode, den ikke kunne lide," siger Klaus Jensen, der er it-chef hos Børsen.
Ifølge it-chefen indeholder den ramte database alle avisens nyheder til online-versionen og en stor del af kurslisterne.
"Når vores master-database går ned, så er vi på den," siger Klaus Jensen, der fortæller, at den trykte avis til gengæld ikke var i fare.
Nedbruddet betød, at avisen måtte foretage en restore af den såkaldte master-database efter den foreliggende beredskabsplan. Men noget gik galt, og det lykkedes ikke at følge den slagne plan.
Børsens databasestruktur er opbygget med en master-database, som føder en række slave-databaser, der igen leverer data til front-end.
"Det lykkedes ikke lige helt, sådan som vi gerne ville. Vi oplevede, at vi ikke kunne få vores master-databaser op igen med konsistent data. Og så måtte vi omkring klokken halv et foretage en restore, og det tog omkring tre kvarter. Inden det hele kommer op, går der let en times tid," siger han.
Han fortæller, at en del af planen går ud på at omdefinere en slave-database til master. Men her drillede virkeligheden, og løsningen blev i stedet at foretage en restore fra en af slave-databaserne.
"Vi tog simpelthen en kopi af en slave-database og puttede ind i masteren," siger Klaus Jensen.
Overbelastet backbone
Klaus Jensen fortæller, at hændelsen viser, at hver gang man har en plan, viser der sig at være en detalje, som er lidt anderledes, end man forestillede sig.
"Man kan sige, at beredskabsplaner ofte er meget overordnende og angiver nogle prioriteringer for i hvilken rækkefølge, tingene skal ske. Og når man så kommer ned i detaljen, så er det tit sådan, at man ikke kan skrive sig ud af det på grund af et eller andet," siger Klaus Jensen.
Klaus Jensen fortæller, at avisens systemer, herunder firewallen, i et vist omfang sidder på Jay.Nets core-netværk.
Han fortæller, at han endnu ikke har modtaget en officiel forklaring, men ifølge en mundtlige forklaring er det en switch, som laver en broadcaststorm, sådan at hele Jay.nets backbone i en kort periode gik i sort.
Jay.Net oplyste mandag på firmaets hjemmeside, at selskabets core-routere mandag blev overbelastet, fordi netværkstrafikken uhensigtsmæssigt hurtigt skiftede retning i firmaets fiberringe.
"Overbelastningen er den direkte årsag til, at core-routerne ikke har kunnet afvikle hverken national eller international datatrafik på normal vis," skriver firmaet videre.
Direktør for salg og marketing hos Jay.Net, Michael Meister, bekræfter overfor Computerworld, at mandagens problem skyldes en overbelastning.
"Vores backbone består af en række core-routere. Hvis en af dem bliver overbelastet, sker der det, at trafikken failer over. Det gør, at en række af vores kunder kortvarigt mister forbindelsen," siger Michael Meister.
Må ikke ske igen
Hos Dagbladet Børsen fortæller Klaus Jensen, at avisens systemer ellers er rimeligt godt opdelt på forskellige virtuelle netværk. Alligevel er der altså tilsyneladende noget, som skal ses efter, sådan at noget lignende ikke sker igen.
"Det er en af de ting, vi skal dæmme op for. Det må være en af opgaverne, sådan at vi ikke bliver lammet," siger Klaus Jensen.
