25. november blev verdens største cloud-tjeneste Amazon Web Services (AWS) ramt af et stort nedbrud, der betød, at store dele af de største internet-tjenester var lagt ned.
Amazon Kinesis, der var den afdeling, der blev ramt, muliggør behandling i realtid af streamingdata.
Flere apps og tjenester meldte ud, på Twitter, at de havde problemer med AWS-tjenesterne. Blandt andet Adobe Spark, Flickr og The Washington Post, skriver mediet MENAFN.
Læs også: Dele af internettet lagt ned: AWS ramt af stort nedbrud
AWS forklarer nu, at nedbruddet ikke skyldtes – som før rapporteret – manglende hukommelse, men derimod installering af nye servere til netværket.
Implementeringen af de nye servere blev igangsat klokken 02.44 om morgenen lokal tid i AWS' datacenter i den amerikanske delstat Virginia og var afsluttet klokken 03.47.
Klokken 05.15 gik den første alarm, der underrettede Kinesis-medarbejderne om, at der var fejl i systemet.
Da medarbejderne kiggede nærmere på problemet, opdagede de, at der var fejl i alle aspekter af de forskellige opkald, der blev foretaget af eksisterende og nye front-end-servere, hvilket ifølge AWS "forværrede vores mulighed for at adskille bivirkninger fra grundårsagen".
Klokken 07.51 havde medarbejderne indsnævret mulighederne for, hvad der kunne være grundårsagen.
De indså, at nogen af de mest sandsynlige kilder til problemet ville kræve en fuldstændig genstart af front-end-serverne.
Umiddelbart så det ud til, at der var tale om mangel på hukommelse.
Og denne fejlantagelse fordoblede restitutionstiden, da Kinesis endelig opdagede, at den nye kapacitet havde fået alle serverne til at overstige det maksimale antal tråde, der er tilladt af en operativsystem-konfiguration.
Da den egentlige årsag klokken 09.39 blev opdaget, begyndte Kinesis-teamet at tilføje de nye servere igen i langsomt tempo for at undgå overbelastning af systemet igen.
"Front-end-flåden består af mange tusinde servere, og af de årsager, der er beskrevet tidligere, kunne vi kun tilføje servere med et par hundrede i timen. Vi fortsatte med langsomt at tilføje trafik til front-end-flåden med Kinesis-fejlprocenten, der faldt støt fra middagstid og fremefter," forklarer AWS.
Først klokken 22.23 om aftenen var Kinesis tilbage på fuld kraft.
