Inde i maskinen podcast:Microsoft har store planer for Windows 10 efter sommeren

Artikel top billede

Arkivfoto.

Derfor sender stort webhotel 80.000 websider i sort

En enkelt strømstik hos en af Danmarks største webhotel-leverandører har ført til stort nedbrud. Læs hvordan det kunne gå så galt her.

Læs også:
Her gemmes nogle af verdens bedst beskyttede data

Web-hotellet og storage-leverandøren One.com har efter et flere dage langt nedbrud fået alle kunders domæner i luften igen.

Det siger Thomas Darré Medard Frederiksen.

Han fortæller, at omkring otte procent af hjemmesiderne stadig er i read-only mode, som betyder, at de ikke virker, som de skal.

Det skyldes, at to centrale filsystemer natten til søndag blev ødelagt som følge af en strømafbrydelse.

Filsystem ødelagt

Ifølge direktøren blev problemerne med filsystemerne udløst af en ellers rutinemæssig test af nødstrømsanlæggene hos leverandøren Interxion, hvor One.com drifter deres udstyr.

"Det sker med jævne mellemrum for at teste, at hele deres setup omkring UPS'er og dieselgeneratorer fungerer," siger Thomas Darré Medard Frederiksen.

Men noget gik helt galt.

Strømmen til central storage

One.com's udstyr får hos leverandøren strøm fra en række stikkontakter, der sætvis får strøm fra to separate strømudtag, som igen har hver sin egen nødstrømsforsyning.

Hvis strømmen ryger i kontakt A, får udstyret i stedet strøm fra kontakt B.

"Natten mellem lørdag og søndag, klokken 03.30, går strømmen til vores centrale storage. Og det er jo noget underligt noget. For det skal den jo ikke gøre," siger Thomas Darré Medard Frederiksen.

Derfor går systemerne ned, og filsystemerne viser sig at være ødelagt, og kan ikke startes igen, fordi man så risikerer at ødelægge de gemte data.

"Der skulle så gang i en fejlrettelse, som vi siden hændelsen har arbejdet i tæt samarbejde med Hitachi Data Systems om at løse," siger han.

Her er den kedelige fejl i stikkontakterne

Hos Interxion fortæller administrerende direktør Peder Bank, at firmaet natten til søndag rutinemæssigt gennemførte den årlige fuldskala-test af nødstrømsanlæggene ved at afbryde bystrømmen og påtvinge infrastrukturen et fuldt strømtab, som er den værst tænkelige situation for udstyret. Derfor er proceduren nøje forberedt.

Han fortæller, at firmaet i denne test flytter en belastning på størrelse med en landsby, som skal flyttes over, synkroniseres og efterfølgende kobles ind igen, når by-nettet kommer tilbage.

"Vi trækker det store stik fra Dong. Og så skal vi se, at hele pivetøjet spiller, at det slår over på batterier, og at det slår hele datacenteret over," siger Peder Bank.

Uheldigvis viser det sig under testen, at det ene UPS-system er defekt og lukker ned.

Og det afslører en rigtig kedelig fejl i et af de sæt stikkontakter, som One.com benytter til deres centrale filsystemer.

Mærket forkert op

Den ene stikkontakt er nemlig mærket forkert op, således at de to stikkontakter ikke får strøm fra hver sin kreds, men fra samme sted.

"Det er ét plug-sæt ud af bogstaveligt talt tusinder. Det gør det ikke mere acceptabelt, for det er ikke godt nok," siger Peder Bank.

Han fortæller, at Interxion er ved at gennemgå testproceduren og kigge på logs fra det pågældende plug-sæt, som i øvrigt blev fikset kort efter opdagelsen af fejlen.

"Vi har elektrikerens navn, nummer og fingeraftyk, vi har hele CV'et på det her plug-sæt. Men der er jo et eller andet der ikke er godt nok, når det her kan ske. Og det er min opgave at sikre, at vi gør det endnu bedre, så det ikke sker igen," siger Peder Bank.

Derfor har det taget så lang tid for One.com

Hos One.com fortæller Thomas Darré Medard Frederiksen, at langt de fleste kunders hjemmesider kører normalt, men at den sidste del af det ene filsystem af sikkerhedshensyn skal kontrolleres færdig, inden firmaet åbner for kundernes skriveadgang til diskene.

Det tager jo flere dage det her. Kunderne vil sikkert gerne vide, hvorfor I ikke kunne gøre det hurtigere?

"Jeg er også selv meget frustreret over, at situationen er, som den er. Men der er tale om så store datamængder, at det tager meget lang tid at sikre, at alt data og systemerne er i orden. Og vi prioriterer det rigtigt højt at sikre kundernes data," siger Thomas Darré Medard Frederiksen.

One.com valgte ifølge direktøren at reparere filsystemet fremfor at benytte et sekundært system med back-up data, fordi det ville have betydet tabt data fra det seneste døgn og periodevis dårligere performance, fordi det sekundære system ikke er helt magen til driftssystemet.

"Derfor valgte vi at få det oprindelige filsystem i luften, selvom vi er kede af, at det har påvirket vore kunders websites i en alt for lang periode," siger Thomas Darré Medard Frederiksen.




Brancheguiden
Brancheguide logo
Opdateres dagligt:
Den største og
mest komplette
oversigt
over danske
it-virksomheder
Hvad kan de? Hvor store er de? Hvor bor de?
Brother Nordic A/S
Import og engroshandel med kontormaskiner.

Nøgletal og mere info om virksomheden
Skal din virksomhed med i Guiden? Klik her

Kommende events
Brand din forretning og skab nye leads med Microsoft Dynamics 365 til marketing

Vidste du, at Microsoft Dynamics også byder på stærk funktionalitet til marketingafdelingen? På kun 1 1/2 time inspirerer vi dig til, hvordan du kan bruge Dynamics 365 Marketing til at brande din forretning og skabe nye leads.

17. maj 2021 | Læs mere


Vælg den rigtige infrastruktur og it-arkitektur

Få indblik i, hvordan du kan sikre sammenhæng og overblik i et it-landksab, der konstant ændres. Dette kan blandt andet gøres med de rette strategisk og teknologiske vlag, så effektiviteten, stabiliteten og sikkerheden opretholdes. Den rigtige infrastruktur og it-arkitektur kan uden tvivl hjælpe dig med at skabe overblikket over dit it-landskab.

18. maj 2021 | Læs mere


Digital transformation og innovation: Inspiration til digitale succeshistorier

Kom ind bag facaden hos nogle af Danmarks bedste it-folk, og lær hvordan de arbejder med digital transformation og innovation. Du får muligheden for at høre, hvordan du kan bruge den nye teknologi til at få etableret det mest effektive udviklings- og innovationsmilø.

19. maj 2021 | Læs mere






CIO
Har du rost din mellemleder i dag? Snart er de uddøde - og det er et tab
Computerworld mener: Mellemledere lever livet farligt: Topledelsen får konstant ideer med skiftende hold i virkeligheden, og moden går mod flade agile organisationer. Men mellemlederen er en overset hverdagens helt med et kæmpe ansvar. Her er min hyldest til den ofte latterliggjorte mellemleder.
Job & Karriere
Eva Berneke stopper som topchef i KMD og flytter til Paris: Her er KMD's nye topchef
Efter syv år på posten som topchef for KMD forlader Eva Berneke selskabet. Nu flytter hun med familien til Paris, hvor hun vil fortsætte sit bestyrelsesarbejde. KMD har allerede afløser på plads.
White paper
Så ofte rammer din sikkerhedsleverandør plet – eller helt ved siden af
Denne uafhængige evaluering fra MITRE ATT&CK giver et billede af styrker og svagheder hos førende udbydere af cybersikkerhedsydelser. Rapporten vurderer bl.a. reaktion og træfsikkerhed på simulerede angreb og af, hvor hurtigt der slås alarm.