Artikel top billede

Forklaringen fundet: Derfor blev Yousee ramt af nedbrud

Tv-udbyderen Yousee har gennemgået sidste uges store nedbrud, der ramte op mod 1,2 millioner kunder i hele Danmark. Læs her, hvordan det hele kunne gå så meget i ged.

Den TDC-ejede tv-udbyder Yousee har gennemgået hele forløbet, der i sidste uge fik skærmen til at flimre og sende kanaler helt i sort hos selskabets omkring 1,2 millioner kunder.

Fejlene skyldtes en sammenblanding af mange ting, men helt overordnet blev al bøvlet ironisk nok født af Yousees bestræbelser på at sikre et bedre tv-signal i fremtiden.

Det skriver Yousee på sin hjemmeside, hvor selskabet redegør for, hvordan signalet kunne pixelere og gå i sort på enkelte kanaler i flere dage.

Ville gøre det bedre

Hele baggrunden for uheldet er, at Yousee har været i gang med at opgradere sit sendeudstyr siden foråret 2012, hvor selskabet oplevede to store nedbrud.

"De to nedbrud havde vist en sårbarhed i den tekniske opbygning, der under uheldige omstændigheder kunne forstyrre det system, der modtager, behandler og videresender specielt satellitbaserede kanaler," begrunder Yousee den ønskede opgradering i sin redegørelse.

For at kvalitetssikre sin infrastruktur besluttede Yousee i foråret 2012 at ombygge og opgradere sin hovedstation på Borups Alle i København, hvor bygningen er kendt som "Telefonhuset".

Ombygningen indebar som et af de vigtigste punkter en omlægning af centralens datanetværk, som skulle gøre netværket mere stabilt og i stand til at sende flere og flere kanaler i HD.

Efter allerede at have foretaget op mod 50 ombygninger siden maj 2012 skulle Yousee så natten til onsdag den 1. maj i sidste uge ombygge centralens centrale IP-netværk fra et såkaldt lag 2 til lag 3 for at undgå data-oversvømmelse i forbindelse med eksempelvis omlægning af almindelige kanaler til HD-kanaler.

Undervejs i denne ombygning skulle flere netværksenheder lukkes og opgraderes med ny software, inden de kunne sættes i gang igen med nye adresse-tabeller - en manøvre, der skulle afvikles på få timer og i en ganske bestemt rækkefølge.

De mange fejl opstår

I løbet af natten til onsdag den 1. maj står det klart, at der er problemer med ombygningen af netværket.

Systemet blev overbelastet, pixeleringer, billedudfald og lydproblemer står i kø på kabelnettet, hvorefter Yousees teknikere forsøger at få styr på situationen ved at genetablere tv-kanal én ad gangen.

"Processen trak ud, og sidst på eftermiddagen manglede der fortsat ti kanaler, da man besluttede at standse arbejdet. På det tidspunkt havde teknikerne arbejdet 15 timer i træk. Risikoen for, at der ville opstå nye fejl undervejs, var høj, og man nærmede sig tv's prime time, hvor millioner af danskerne ser tv samtidig," lyder det i Yousees hændelsesforløb.

Du kan forvente nye afbrydelser inden længe

Samtidig med dagen skrider frem med fejl på flere kanaler, øges også antallet af gnavne indlæg på Yousees Facebook-side, der dog først for alvor eksploderer, da der viser sig at være flimmer og pixeleringer henover en Champions League-fodboldkamp på tv-kanalen 3+, hvilket får fodboldfolket til at fare i flint på Facebook.

En data-overvågningsenhed bliver udpeget som syndebuk, da den trak så store datamængder gennem netværket, at tv-signalets udsendelsesroutere blev overbelastede og begik de fejl, der kunne ses på skærmen som flimmer og pixeleringer.

"Konkret var der tale om en kombination af en akut stigning i forbruget af on demand tv (start forfra, tv-arkiv og filmleje), måleenhedens store dataforbrug samt datatrafikken fra de almindelige tv-kanaler, der havde udløst en kendt svaghed i centralens routere. De pågældende routere kunne under særlige omstændigheder fejle, hvis de blev belastet med en kombination af unicast og multicast trafik, og det var præcist det, der skete," forklarer Yousee om nedbruddet.

Efterspillet hos Yousee

Mens onsdag i sidste uge hos Yousee gik med at slukke småbrande og den store brand under fodboldkampen, blev torsdagen brugt til at analyse fejlene og få gang i de resterende 10 tv-kanaler, som ikke var kommet i løbet af onsdagen.

Igen torsdag aften var der fodbold - denne gang fra Euro League - og teknikerne kastede hen i mod aftenen alle kræfter ind på at få genetableret kanal 9, hvor fodboldkampen blev sendt på.

"I løbet af fredag blev de sidste kanaler genetableret, men enkelte af dem måtte nøjes med at blive distribueret i den gamle SD-kvalitet. SD kræver kun en tredjedel af den datamængde, som en HD-kanal kræver, og for ikke igen at overbelaste routerne måtte man i første omgang nøjes med det gamle signal," forklarer Yousee om sit lange nedbrud.

Fremadrettet vil Yousee gøre sin netværksudskiftning færdig, inden turen kommer til de gamle routere, som skal udskiftes med nye af slagsen, der kan håndtere mere trafik og adskille unicast og multicast bedre, så der ikke igen opstår blandingstrafik, som ultimativt kan kaste routerne ud i en overbelastning.

Hele ombygningen forventes at være færdig inden sommerferien, hvor Yousee-kunder inden vil opleve mindre (og planlagte) afbrydelser, som dog hovedsageligt foregår i løbet af natten, når tv-udbyderen opgraderer sit system.

Læs også:

YouSee-nedbrud på tredje døgn: Kunder kræver erstatning

Yousee: Derfor får kunder ingen kompensation efter nedbrud

Derfor blev millioner af danskere ramt af stort Yousee-nedbrud




Brancheguiden
Brancheguide logo
Opdateres dagligt:
Den største og
mest komplette
oversigt
over danske
it-virksomheder
Hvad kan de? Hvor store er de? Hvor bor de?
EG A/S
Udvikling, salg, implementering og support af software og it-løsninger til ERP, CRM, BA, BI, e-handel og portaler. Infrastrukturløsninger og hardware. Fokus på brancheløsninger.

Nøgletal og mere info om virksomheden
Skal din virksomhed med i Guiden? Klik her

Kommende events
Strategisk it-sikkerhedsdag – Identificer, beskyt og forsvar

Trusselsbilledet er rødglødende og it-sikkerhedslandskabet har aldrig været mere anspændt end nu. Flere organisationer end nogensinde før bliver som følge udsat for cyber-angreb, der er udført af professionelle og målrettede hackere Vi tager temperaturen på trusselslandskabet lige nu og giver dig overblikket over de nyeste trusler, de mest aktuelle tendenser og de bedste løsninger og værktøjer til at sikre effektiv drift og høj compliance.

23. august 2022 | Læs mere


Strategisk it-sikkerhedsdag – Identificer, beskyt og forsvar

Trusselsbilledet er rødglødende og it-sikkerhedslandskabet har aldrig været mere anspændt end nu. Flere organisationer end nogensinde før bliver som følge udsat for cyber-angreb, der er udført af professionelle og målrettede hackere Vi tager temperaturen på trusselslandskabet lige nu og giver dig overblikket over de nyeste trusler, de mest aktuelle tendenser og de bedste løsninger og værktøjer til at sikre effektiv drift og høj compliance.

25. august 2022 | Læs mere


CIO Trends 2022: Sådan ser opgavelisten ud hos Danmarks bedste CIOs

En hurtig og strategisk fokuseret implementering af nye teknologier er i disse år med til at sikre konkurrencekraften hos de bedste digitale vindere. Det sætter vi fokus på med konferencen CIO Trends 2022, hvor du blandt andet kan blive inspireret af en række danske topfolk inden for digitalisering og it-ledelse.

30. august 2022 | Læs mere






CIO
10 gratis artikler: Få gode råd fra Danmarks bedste it-ledere