Artikel top billede

Arkivfoto.

Derfor sender stort webhotel 80.000 websider i sort

En enkelt strømstik hos en af Danmarks største webhotel-leverandører har ført til stort nedbrud. Læs hvordan det kunne gå så galt her.

Læs også:
Her gemmes nogle af verdens bedst beskyttede data

Web-hotellet og storage-leverandøren One.com har efter et flere dage langt nedbrud fået alle kunders domæner i luften igen.

Det siger Thomas Darré Medard Frederiksen.

Han fortæller, at omkring otte procent af hjemmesiderne stadig er i read-only mode, som betyder, at de ikke virker, som de skal.

Det skyldes, at to centrale filsystemer natten til søndag blev ødelagt som følge af en strømafbrydelse.

Filsystem ødelagt

Ifølge direktøren blev problemerne med filsystemerne udløst af en ellers rutinemæssig test af nødstrømsanlæggene hos leverandøren Interxion, hvor One.com drifter deres udstyr.

"Det sker med jævne mellemrum for at teste, at hele deres setup omkring UPS'er og dieselgeneratorer fungerer," siger Thomas Darré Medard Frederiksen.

Men noget gik helt galt.

Strømmen til central storage

One.com's udstyr får hos leverandøren strøm fra en række stikkontakter, der sætvis får strøm fra to separate strømudtag, som igen har hver sin egen nødstrømsforsyning.

Hvis strømmen ryger i kontakt A, får udstyret i stedet strøm fra kontakt B.

"Natten mellem lørdag og søndag, klokken 03.30, går strømmen til vores centrale storage. Og det er jo noget underligt noget. For det skal den jo ikke gøre," siger Thomas Darré Medard Frederiksen.

Derfor går systemerne ned, og filsystemerne viser sig at være ødelagt, og kan ikke startes igen, fordi man så risikerer at ødelægge de gemte data.

"Der skulle så gang i en fejlrettelse, som vi siden hændelsen har arbejdet i tæt samarbejde med Hitachi Data Systems om at løse," siger han.

Her er den kedelige fejl i stikkontakterne

Hos Interxion fortæller administrerende direktør Peder Bank, at firmaet natten til søndag rutinemæssigt gennemførte den årlige fuldskala-test af nødstrømsanlæggene ved at afbryde bystrømmen og påtvinge infrastrukturen et fuldt strømtab, som er den værst tænkelige situation for udstyret. Derfor er proceduren nøje forberedt.

Han fortæller, at firmaet i denne test flytter en belastning på størrelse med en landsby, som skal flyttes over, synkroniseres og efterfølgende kobles ind igen, når by-nettet kommer tilbage.

"Vi trækker det store stik fra Dong. Og så skal vi se, at hele pivetøjet spiller, at det slår over på batterier, og at det slår hele datacenteret over," siger Peder Bank.

Uheldigvis viser det sig under testen, at det ene UPS-system er defekt og lukker ned.

Og det afslører en rigtig kedelig fejl i et af de sæt stikkontakter, som One.com benytter til deres centrale filsystemer.

Mærket forkert op

Den ene stikkontakt er nemlig mærket forkert op, således at de to stikkontakter ikke får strøm fra hver sin kreds, men fra samme sted.

"Det er ét plug-sæt ud af bogstaveligt talt tusinder. Det gør det ikke mere acceptabelt, for det er ikke godt nok," siger Peder Bank.

Han fortæller, at Interxion er ved at gennemgå testproceduren og kigge på logs fra det pågældende plug-sæt, som i øvrigt blev fikset kort efter opdagelsen af fejlen.

"Vi har elektrikerens navn, nummer og fingeraftyk, vi har hele CV'et på det her plug-sæt. Men der er jo et eller andet der ikke er godt nok, når det her kan ske. Og det er min opgave at sikre, at vi gør det endnu bedre, så det ikke sker igen," siger Peder Bank.

Derfor har det taget så lang tid for One.com

Hos One.com fortæller Thomas Darré Medard Frederiksen, at langt de fleste kunders hjemmesider kører normalt, men at den sidste del af det ene filsystem af sikkerhedshensyn skal kontrolleres færdig, inden firmaet åbner for kundernes skriveadgang til diskene.

Det tager jo flere dage det her. Kunderne vil sikkert gerne vide, hvorfor I ikke kunne gøre det hurtigere?

"Jeg er også selv meget frustreret over, at situationen er, som den er. Men der er tale om så store datamængder, at det tager meget lang tid at sikre, at alt data og systemerne er i orden. Og vi prioriterer det rigtigt højt at sikre kundernes data," siger Thomas Darré Medard Frederiksen.

One.com valgte ifølge direktøren at reparere filsystemet fremfor at benytte et sekundært system med back-up data, fordi det ville have betydet tabt data fra det seneste døgn og periodevis dårligere performance, fordi det sekundære system ikke er helt magen til driftssystemet.

"Derfor valgte vi at få det oprindelige filsystem i luften, selvom vi er kede af, at det har påvirket vore kunders websites i en alt for lang periode," siger Thomas Darré Medard Frederiksen.




Brancheguiden
Brancheguide logo
Opdateres dagligt:
Den største og
mest komplette
oversigt
over danske
it-virksomheder
Hvad kan de? Hvor store er de? Hvor bor de?
EG A/S
Udvikling, salg, implementering og support af software og it-løsninger til ERP, CRM, BA, BI, e-handel og portaler. Infrastrukturløsninger og hardware. Fokus på brancheløsninger.

Nøgletal og mere info om virksomheden
Skal din virksomhed med i Guiden? Klik her

Kommende events
Hjemmearbejdets påvirkning på trivsel, helbred og arbejdsmiljø

Fremtidens arbejdsplads er hybrid, det er der ingen tvivl om. Men hvad fører det egentlig med sig? Og hvordan omstiller du og din arbejdsplads sig til det? Det kan du blive klogere på, på denne digitale konference.

02. februar 2022 | Læs mere


GDPR - persondatabeskyttelse i praksis

Håndteringen af persondata og GDPR er for længst blevet hverdag hos de danske organisationer, men derfor er det til stadighed vigtigt og altafgørende, at den løbende overholdelse af GDPR er på plads. Vær med og hør, hvordan du ved hjælp af processuelle greb, værktøjer og systemer kan sikre dette.

08. februar 2022 | Læs mere


Analytics, BI og data science: Data-behandling i realtid

Datadrevne løsninger er godt på vej til at vinde indpas i næsten alle industrier - og med god grund. For der er store muligheder i at kunne forstå, fortolke og reagere lynhurtigt på de store datamængder, som alle organisationer genererer. På dette seminar kan du høre om nogle af de bedste eksempler inden for praktisk anvendelse af avanceret data-analyse, hvordan du kommer i gang, og hvordan du kan høste udbytte.

22. februar 2022 | Læs mere






CIO
Sådan tager top-CIO Pernille Geneser livtag med 40 år gamle it-systemer i Stark Group med 10.000 medarbejdere