Det var store problemer med en fuld duplex-løsning som hen over weekenden kostede Danske Spil millioner af kroner i tabt omsætning, fordi firmaets onlinespil kun sporadisk kunne nås af kunderne.
- Vi har prøvet at være voldsomt avancerede. For at være helt ærlig, var det nok lidt mere avanceret, end vi lige havde regnet med, siger Jørgen Falsvig, it-direktør i Danske Spil.
Problem ulmede i tre dage
Danske Spil skiftede natten mellem tirsdag og onsdag det traditionelle to strengede system ud med et edderkoppespind af forbindelser mellem firmaets mange enheder, som skal forhindre at hele rækken af enheder går med ned, hvis en enkelt enhed dør.
Og det nye system kørte faktisk fint indtil fredag, fortæller Jørgen Falsvig.
- Vi begyndte at få de første markante problemer fredag aften. Men lørdag formiddag begyndte det at blive alvorligt, efterhånden som der kom mange kunder på, siger Jørgen Falsvig.
Søndag morgen var situationen ifølge Jørgen Falsvig helt gal.
Her begyndte systemet at gå i en form for overload, hvor systemet brugte al tid på at prøve at administrere links i stedet for at håndtere kunder.
- Og det er jo egentlig den modsatte prioritering, vi har, siger Jørgen Falsvig.
Forsinkelse undrer
Umiddelbart undrer det it-afdelingen hos Danske Spil at problemet først opstod fredag, fortæller Jørgen Falsvig.
Men han mener at det må have noget at gøre med, at belastningen ikke har været så stor i begyndelsen.
- Vi har ganske enkelt ikke haft 100 procent styr på de forbindelser vi har lavet. Det har været utroligt komplekst for os. Men nu har vi rettet de sidste links op, så nu kører systemet med en fuld duplex-løsning, siger Jørgen Falsvig.
Kun død tvilling i fremtiden
Danske Spils onlineløsning kører på en HP/Linux platform og har hidtil været opdelt i to fuldstændig ens produktionsstrenge, som omfatter front-ends til mobilspil, internetspil og firmaets lottoservice.
Derudover er hver streng gennem internetløsningen forbundet til hovedtransaktionsmaskineriet, hvor forhandlerne er bundet op.
De to end systemer har fungeret sådan, at hvis den ene streng dør, kører den anden videre uden at nogen opdager det. Men i sidste uge implementerede firmaet en ny væsentligt mere avanceret netværksopbygning.
Hvis der eksempelvis er ti enheder i en streng, og den ene dør, så virker de ni andre heller ikke.
Og det er ærgerligt fordi de så ikke længere virker som duplex for de ni parallelle enheder på den anden streng.
Derfor har Danske Spil nu opbygget netværket, så det kun er den døde enheds tvilling som er single point of failure under et nedbrud, mens firmaet reparerer den anden, forklarer Jørgen Falsvig.
Har rettet konkrete fejl
Først i dag er systemet igen helt på toppen, efter at afdelingen har gennemgået og rettet en række konkrete fejl i links på nettets firmaets mange servere og firewalls.
Det betyder at Danske Spils omline systemer nu i nogle timer har fungeret uden problemer.
Weekendens problemer på nettet har ikke haft betydning for det system salgstederne er koblet op til.
Derfor kunne spillefugle hele weekenden i stedet ty til kioskerne, hvis Oddset eller den lange strejkede på nettet.
Alligevel har Danske Spil formentlig tabt millioner af kroner på fejlen i onlinesystemet.
