VMware sendt helt til tælling i skyen

Lige da VMware var ved at komme sig efter et ubetydeligt strømforsyningsproblem, slog den menneskelige faktor til, og så gik det helt galt.

Artikel top billede

Foto: Philippe Ramakers

Læs også:

Cloud computing: Sådan fungerer det

Det er ikke nemt at samle en distribueret it-arkitektur i skyen. Jo flere ressourcer man prøver at samle, jo mere kan gå galt. Og nej, det her handler ikke om Amazon's nylige problemer.

Denne gang gik det ud over VMware, som for nylig har lanceret en betaversion af, hvad firmaet kalder branchens første "åbne platform as a service", som er en slags hosting-service for udviklere.

Den 25. april klokken 06.11 fik tjenesten ifølge InformationWeek et mindre problem med en strømforsyning i et storage-kabinet, som gav huller i driften. I forsøget på at reparere det problem, gik siden helt i sort, og den nedtur varede til godt hen på næste dag.

Hændelsen bliver beskrevet af blogger og Cloud Foundry-administrator Dekel Tankel.

Problemet med strømforsyningen betød, at brugerne ikke kunne få adgang til en "logical unit number (LUN)", eller identifikator af en disk eller et sæt af diske i Cloud Foundry.

Et ventet problem

En fejl i strømforsyningen er ikke en uventet begivenhed. Den slags sker, og det er skyer designet til at opdage og overleve. Enten ved at hente strøm fra en anden kilde eller ved at route sig rundt om problemet og bruge en back up.

I dette tilfælde, skriver Tankel, "var vores software, vores overvågningssystem og vores praktiske procedurer ikke synkroniseret."

Konsekvensen var, at det lille ubetydelige problem blev større og bredte sig som ringe i vandet og ramte The Cloud Controller. Se her hvordan CloudFoundry rent faktisk virker.

Da tjenesten var kommet til hægterne igen, og administratorerne fandt ud af, at der slet ikke var mistet data, skete der følgende:

Cloud-teamet fortsatte uforvarende med at forværre fejlen. De ville lære af hændelsen, så driftsteknikerne gik omgående i gang med at registrere, hvad der gik galt og nedfælde en manual for de korrekte procedurer for at undgå en lignende hændelse i fremtiden.

"Planen var, at det skulle være en på-papir-kun-øvelse, indtil manualen blev evalueret," skriver Tankel.

Mere skulle der ikke til

Uheldigvis skete der det, at en af driftsfolkene med manualen kom til at røre tastaturet, og resultatet var, at hele netværksinfrastrukturen foran Cloud Foundry, gik ned. Mere skulle der ikke til.

Tre dage senere skrev Tankel på sin blog:

"This took out all load balancers, routers, and firewalls; caused a partial outage of portions of our internal DNS infrastructure; and resulted in a complete external loss of connectivity to Cloud Foundry through the next 13 hours, until service was restored at 11:30 a.m. April 26."

VMware's uheld er anderledes end det omfattende nedbrud, Amazon var ude for den 21. april, men der er ikke desto mindre uheldsvarslende lighedspunkter, når det gælder den menneskeligte faktor.

Læs hele den detaljerede beretning på InformationWeeks hjemmeside.

Læses lige nu

    Annonce

    Banedanmark

    Forretningsanalytiker

    Københavnsområdet

    BEC Financial Technologies

    Development Manager for Document Lifecycle

    Region Sjælland

    Netcompany A/S

    Microsoft Operations Engineer

    Københavnsområdet

    Netcompany A/S

    Erfaren Linux Operations Engineer

    Nordjylland

    Annonceindlæg tema

    Cloud & AI

    I dette særtema ser vi på, hvordan cloud og AI bliver fundamentet for virksomhedernes digitale forretning, og hvordan de nye muligheder for automatisering og forretningsværdi kan udnyttes uden at miste overblik, sikkerhed og menneskelig kontrol.

    Navnenyt fra it-Danmark

    Arctic Wolf Networks har pr. 3. august 2026 ansat Johnny Krogsboll som Head of Sales Engineering for Norden.Med base i Stockholm får han ansvaret for Arctic Wolfs samlede Sales Engineering-organisation i den nordiske region.<br /><br />Johnny Krogsboll skal være med til at udbygge Arctic Wolfs tilstedeværelse i Norden og hjælpe virksomheder og organisationer med at stå stærkere over for et stadig mere komplekst cybertrusselsbillede. Det skal blandt andet ske i tæt samarbejde med Arctic Wolfs vigtigste kanalpartnere i regionen.<br /><br />Gennem sin karriere har Johnny Krogsboll arbejdet med og rådgivet virksomheder hos blandt andre Hewlett-Packard, Trend Micro og Palo Alto Networks med fokus på at skabe konkret værdi af deres teknologiinvesteringer. Nyt job

    Johnny Krogsboll

    Arctic Wolf Networks

    Netip A/S har pr. 14. september 2026 ansat Andreas Thorø Møller som Systemkonsulent ved netIP's kontor i Aarhus. Han kommer fra en stilling som Endpoint Consultant hos Fellowmind Denmark A/S. Han er uddannet Datatekniker. Nyt job
    Netip A/S har pr. 1. november 2026 ansat Brian Davidsen som Key Account Manager ved netIP's kontor i Aarhus. Han kommer fra en stilling som Solutions Sales Specialist hos Dustin. Nyt job

    Brian Davidsen

    Netip A/S

    T-Systems har pr. 11. november 2026 ansat Henrik Fugmann som Industry Lead, Public Sector. Henrik skal især beskæftige sig med forretningsudvikling indenfor den offentlige sektor med fokus på digital suverænitet, herunder cloud, AI og sikkerhed. Henrik kommer fra en stilling som Business Director hos DXC Technology. Nyt job

    Henrik Fugmann

    T-Systems