VMware sendt helt til tælling i skyen

Lige da VMware var ved at komme sig efter et ubetydeligt strømforsyningsproblem, slog den menneskelige faktor til, og så gik det helt galt.

Artikel top billede

Foto: Philippe Ramakers

Læs også:

Cloud computing: Sådan fungerer det

Det er ikke nemt at samle en distribueret it-arkitektur i skyen. Jo flere ressourcer man prøver at samle, jo mere kan gå galt. Og nej, det her handler ikke om Amazon's nylige problemer.

Denne gang gik det ud over VMware, som for nylig har lanceret en betaversion af, hvad firmaet kalder branchens første "åbne platform as a service", som er en slags hosting-service for udviklere.

Den 25. april klokken 06.11 fik tjenesten ifølge InformationWeek et mindre problem med en strømforsyning i et storage-kabinet, som gav huller i driften. I forsøget på at reparere det problem, gik siden helt i sort, og den nedtur varede til godt hen på næste dag.

Hændelsen bliver beskrevet af blogger og Cloud Foundry-administrator Dekel Tankel.

Problemet med strømforsyningen betød, at brugerne ikke kunne få adgang til en "logical unit number (LUN)", eller identifikator af en disk eller et sæt af diske i Cloud Foundry.

Et ventet problem

En fejl i strømforsyningen er ikke en uventet begivenhed. Den slags sker, og det er skyer designet til at opdage og overleve. Enten ved at hente strøm fra en anden kilde eller ved at route sig rundt om problemet og bruge en back up.

I dette tilfælde, skriver Tankel, "var vores software, vores overvågningssystem og vores praktiske procedurer ikke synkroniseret."

Konsekvensen var, at det lille ubetydelige problem blev større og bredte sig som ringe i vandet og ramte The Cloud Controller. Se her hvordan CloudFoundry rent faktisk virker.

Da tjenesten var kommet til hægterne igen, og administratorerne fandt ud af, at der slet ikke var mistet data, skete der følgende:

Cloud-teamet fortsatte uforvarende med at forværre fejlen. De ville lære af hændelsen, så driftsteknikerne gik omgående i gang med at registrere, hvad der gik galt og nedfælde en manual for de korrekte procedurer for at undgå en lignende hændelse i fremtiden.

"Planen var, at det skulle være en på-papir-kun-øvelse, indtil manualen blev evalueret," skriver Tankel.

Mere skulle der ikke til

Uheldigvis skete der det, at en af driftsfolkene med manualen kom til at røre tastaturet, og resultatet var, at hele netværksinfrastrukturen foran Cloud Foundry, gik ned. Mere skulle der ikke til.

Tre dage senere skrev Tankel på sin blog:

"This took out all load balancers, routers, and firewalls; caused a partial outage of portions of our internal DNS infrastructure; and resulted in a complete external loss of connectivity to Cloud Foundry through the next 13 hours, until service was restored at 11:30 a.m. April 26."

VMware's uheld er anderledes end det omfattende nedbrud, Amazon var ude for den 21. april, men der er ikke desto mindre uheldsvarslende lighedspunkter, når det gælder den menneskeligte faktor.

Læs hele den detaljerede beretning på InformationWeeks hjemmeside.

Læses lige nu

    Annonce

    Forsvarsministeriets Materiel- og Indkøbsstyrelse

    Data governance specialist til Forsvaret

    Københavnsområdet

    KMD A/S

    SAP Enterprise Architect

    Københavnsområdet

    Vivant ApS

    IT-supporter til Servicedesk

    Københavnsområdet

    Banedanmark

    Forretningsanalytiker

    Københavnsområdet

    Event: SAP Excellence Day 2027

    It-løsninger | Nordhavn

    Oplev stærke cases og de nyeste muligheder med SAP, fysisk eller online.

    9. februar 2027 | Gratis deltagelse

    Navnenyt fra it-Danmark

    Elbek & Vejrup A/S har pr. 15. august 2026 ansat Anne-Sofie Andreasen som Project Manager i Projekt & Service. Hun skal især beskæftige sig med ledelse og koordinering af projekter og serviceopgaver. Hun kommer fra en stilling som konsulent med fokus på digitale løsninger hos XFLow. Hun er uddannet cand.it. i IT, Kommunikation og Organisation. Hun har tidligere beskæftiget sig med analyse, udvikling, test og implementering af løsninger samt udarbejdelse af brugervejledninger. Nyt job

    Anne-Sofie Andreasen

    Elbek & Vejrup A/S

    Netip A/S har pr. 17. august 2026 ansat Jesper U. Sørensen som Seniorkonsulent ved netIP's kontor i Esbjerg. Han kommer fra en stilling som Chief Technology Officer hos NetSec ApS, hvor han også var partner. Nyt job
    T-Systems har pr. 11. november 2026 ansat Henrik Fugmann som Industry Lead, Public Sector. Henrik skal især beskæftige sig med forretningsudvikling indenfor den offentlige sektor med fokus på digital suverænitet, herunder cloud, AI og sikkerhed. Henrik kommer fra en stilling som Business Director hos DXC Technology. Nyt job

    Henrik Fugmann

    T-Systems