VMware sendt helt til tælling i skyen

Lige da VMware var ved at komme sig efter et ubetydeligt strømforsyningsproblem, slog den menneskelige faktor til, og så gik det helt galt.

Artikel top billede

Foto: Philippe Ramakers

Læs også:

Cloud computing: Sådan fungerer det

Det er ikke nemt at samle en distribueret it-arkitektur i skyen. Jo flere ressourcer man prøver at samle, jo mere kan gå galt. Og nej, det her handler ikke om Amazon's nylige problemer.

Denne gang gik det ud over VMware, som for nylig har lanceret en betaversion af, hvad firmaet kalder branchens første "åbne platform as a service", som er en slags hosting-service for udviklere.

Den 25. april klokken 06.11 fik tjenesten ifølge InformationWeek et mindre problem med en strømforsyning i et storage-kabinet, som gav huller i driften. I forsøget på at reparere det problem, gik siden helt i sort, og den nedtur varede til godt hen på næste dag.

Hændelsen bliver beskrevet af blogger og Cloud Foundry-administrator Dekel Tankel.

Problemet med strømforsyningen betød, at brugerne ikke kunne få adgang til en "logical unit number (LUN)", eller identifikator af en disk eller et sæt af diske i Cloud Foundry.

Et ventet problem

En fejl i strømforsyningen er ikke en uventet begivenhed. Den slags sker, og det er skyer designet til at opdage og overleve. Enten ved at hente strøm fra en anden kilde eller ved at route sig rundt om problemet og bruge en back up.

I dette tilfælde, skriver Tankel, "var vores software, vores overvågningssystem og vores praktiske procedurer ikke synkroniseret."

Konsekvensen var, at det lille ubetydelige problem blev større og bredte sig som ringe i vandet og ramte The Cloud Controller. Se her hvordan CloudFoundry rent faktisk virker.

Da tjenesten var kommet til hægterne igen, og administratorerne fandt ud af, at der slet ikke var mistet data, skete der følgende:

Cloud-teamet fortsatte uforvarende med at forværre fejlen. De ville lære af hændelsen, så driftsteknikerne gik omgående i gang med at registrere, hvad der gik galt og nedfælde en manual for de korrekte procedurer for at undgå en lignende hændelse i fremtiden.

"Planen var, at det skulle være en på-papir-kun-øvelse, indtil manualen blev evalueret," skriver Tankel.

Mere skulle der ikke til

Uheldigvis skete der det, at en af driftsfolkene med manualen kom til at røre tastaturet, og resultatet var, at hele netværksinfrastrukturen foran Cloud Foundry, gik ned. Mere skulle der ikke til.

Tre dage senere skrev Tankel på sin blog:

"This took out all load balancers, routers, and firewalls; caused a partial outage of portions of our internal DNS infrastructure; and resulted in a complete external loss of connectivity to Cloud Foundry through the next 13 hours, until service was restored at 11:30 a.m. April 26."

VMware's uheld er anderledes end det omfattende nedbrud, Amazon var ude for den 21. april, men der er ikke desto mindre uheldsvarslende lighedspunkter, når det gælder den menneskeligte faktor.

Læs hele den detaljerede beretning på InformationWeeks hjemmeside.

Læses lige nu

    Annonce

    Navnenyt fra it-Danmark

    Elbek & Vejrup A/S har pr. 1. august 2026 ansat Nathalie Kajberg Knudsen som Supportkonsulent i Evita/Forsyning. Hun skal især beskæftige sig med support af Evita/Forsyning samt bidrage til videreudviklingen af supportsetup på Evita og Appia. Hun kommer fra en stilling som support indenfor Kundeadministration og Afregning hos KMD Easy Energy. Hun har tidligere beskæftiget sig med kørselskoordinering og kørselsledelse hos FKS Slamson og Godik. Nyt job

    Nathalie Kajberg Knudsen

    Elbek & Vejrup A/S

    Netip A/S har pr. 14. september 2026 ansat Andreas Thorø Møller som Systemkonsulent ved netIP's kontor i Aarhus. Han kommer fra en stilling som Endpoint Consultant hos Fellowmind Denmark A/S. Han er uddannet Datatekniker. Nyt job
    Netip A/S har pr. 1. september 2026 ansat Michelle Sørensen som Operation Coordinator ved netIP's kontor i Hernng. Hun kommer fra en stilling som Koordinator hos Norlys koncernen. Nyt job

    Michelle Sørensen

    Netip A/S

    Arctic Wolf Networks har pr. 3. august 2026 ansat Johnny Krogsboll som Head of Sales Engineering for Norden.Med base i Stockholm får han ansvaret for Arctic Wolfs samlede Sales Engineering-organisation i den nordiske region.<br /><br />Johnny Krogsboll skal være med til at udbygge Arctic Wolfs tilstedeværelse i Norden og hjælpe virksomheder og organisationer med at stå stærkere over for et stadig mere komplekst cybertrusselsbillede. Det skal blandt andet ske i tæt samarbejde med Arctic Wolfs vigtigste kanalpartnere i regionen.<br /><br />Gennem sin karriere har Johnny Krogsboll arbejdet med og rådgivet virksomheder hos blandt andre Hewlett-Packard, Trend Micro og Palo Alto Networks med fokus på at skabe konkret værdi af deres teknologiinvesteringer. Nyt job

    Johnny Krogsboll

    Arctic Wolf Networks