Artikel top billede

Dansk CIO ramt af to store nedbrud på 48 timer

I løbet af 48 timer oplevede it-direktøren hos Berlingske Media både at miste al strøm i timevis og hele DNS-konfigurationen til de største websites.

Læs også:

It-direktør fra Berlingske får international toppost

Google: Angribere forsøger at overtage din konto 

"Det må selvfølgelig ikke ske."

Det siger Morten Viktor, der er it-direktør hos Berlingske Media, om et stort nedbrud i slutningen af sidste uge. 

Her oplevede mediekoncernen, at nogle af dens aviser på nettet, business.dk og b.dk, var helt i sort i halvanden time fredag eftermiddag. Det største medie, BT, var dog ikke ramt af miseren. 

Årsagen til nedbruddet var en menneskelig fejl, som skete i Holland hos Berlingskes outsourcing-leverandør, den indiske it-servicekæmpe HCL.

Slettede hele DNS'en

"Der skete en menneskelig fejl, hvor hele DNS'en blev overskrevet. Og når man overskriver hele DNS'en, så kan vi ikke engang reetablere ved at pege på en 'teknisk uheld - vi beklager'-side," siger Morten Viktor.

Det skyldes, at hele DNS-opsætningen ifølge it-direktøren er nødt til at blive re-konfigureret.

Han fortæller, at Berlingske Media trods outsourcing af ansvar og drift af firmaets it-services har folk, som hurtigt fandt årsagen til fejlen og bød ind på en løsning.

Løsningen var at rulle tilbage ved hjælp af backup, så den rigtige konfiguration igen kom i drift, så firmaets nedbrudsramte sites igen dukkede op på nettet.

"De to sites var nede i halvanden time. Og det må jo ikke ske sådan noget, siger Morten Viktor.

Omgik procedure manuelt

Han fortæller, at den menneskelige fejl i form af total-overskrivningen skete, fordi en medarbejder omgik en af de ellers mange procedurer, som skal forhindre utilsigtede ændringer.

"Vi har mange procedurer, og de bliver også overholdt. Men når et menneske går ind og manuelt overskriver DNS'en ved en fejl, er det svært at gardere sig 100 procent imod," siger han.

Uheldet skete ifølge it-direktøren i forbindelse med en anden ændring, som skulle udføres omkring en ny opdatering.

Morten Viktor oplyser, at firmaet hver uge får udført masser af ændringer, uden der plejer at ske uheld.

Han fortæller også, at Berlingske gennem firmaets Service Level Agreement (SLA) regner med at få lidt ud af leverandøren efter det kedelige DNS-uheld. 

"Det er manglende performance. Vores site er nede i for lang tid. Det duer ikke, at vores site er nede i halvanden time. Det er ikke godt," siger Morten Viktor, der også dagen før var ramt af uheld, som påvirkede it-driften.

Uden strøm i halvt døgn

Torsdag kunne alle medarbejdere i Pilestræde i København nemlig intet foretage sig før langt opad dagen. 

Det skyldtes, at strømmen fra el-forsyningsselskabet Dong røg i løbet af natten. Strømafbrydelsen varede så længe, at alt, hvad der hedder nødstrømsforsyning, for længst var brugt op, da Dong fiksede problemet. 

"Det er ikke første gang, det sker, og det havde faktisk ikke noget med it at gøre. Vi forsøgte desperat at gøre noget ved det, men uden strøm var der ikke så meget, vi kunne gøre," Morten Viktor. 

Heldig outsourcing

Berlingske Media har som tidligere fortalt outsourcet langt det meste it til forskellige leverandører. 

Derfor blev serverne med mediefirmaets netaviser ikke berørt, ligesom ansatte med strøm på den bærbare og en telefon med internetforbindelse kunne koble op til firmaets cloud-baserede arbejdsværktøjer. 

"Netværket virkede ikke, men vores sites og produktionsmiljøer kørte fortsat," siger Morten Viktor. 

Men de ansatte skulle nok beholde jakken på, for ifølge Morten Viktor stod pumperne til centralvarmen også stille i de mange timer hvor strømafbrydelsen stod på. 

"Der var ingenting som virkede i huset," siger it-direktøren, som tilføjer, at strømmen kom tilbage omkring frokosttid torsdag.




Brancheguiden
Brancheguide logo
Opdateres dagligt:
Den største og
mest komplette
oversigt
over danske
it-virksomheder
Hvad kan de? Hvor store er de? Hvor bor de?
Targit A/S
Udvikling og salg af software til business intelligence.

Nøgletal og mere info om virksomheden
Skal din virksomhed med i Guiden? Klik her

Kommende events
Strategisk it-sikkerhedsdag – Identificer, beskyt og forsvar

Trusselsbilledet er rødglødende og it-sikkerhedslandskabet har aldrig været mere anspændt end nu. Flere organisationer end nogensinde før bliver som følge udsat for cyber-angreb, der er udført af professionelle og målrettede hackere Vi tager temperaturen på trusselslandskabet lige nu og giver dig overblikket over de nyeste trusler, de mest aktuelle tendenser og de bedste løsninger og værktøjer til at sikre effektiv drift og høj compliance.

23. august 2022 | Læs mere


Strategisk it-sikkerhedsdag – Identificer, beskyt og forsvar

Trusselsbilledet er rødglødende og it-sikkerhedslandskabet har aldrig været mere anspændt end nu. Flere organisationer end nogensinde før bliver som følge udsat for cyber-angreb, der er udført af professionelle og målrettede hackere Vi tager temperaturen på trusselslandskabet lige nu og giver dig overblikket over de nyeste trusler, de mest aktuelle tendenser og de bedste løsninger og værktøjer til at sikre effektiv drift og høj compliance.

25. august 2022 | Læs mere


CIO Trends 2022: Sådan ser opgavelisten ud hos Danmarks bedste CIOs

En hurtig og strategisk fokuseret implementering af nye teknologier er i disse år med til at sikre konkurrencekraften hos de bedste digitale vindere. Det sætter vi fokus på med konferencen CIO Trends 2022, hvor du blandt andet kan blive inspireret af en række danske topfolk inden for digitalisering og it-ledelse.

30. august 2022 | Læs mere






CIO
10 gratis artikler: Få gode råd fra Danmarks bedste it-ledere