En fejl i en såkaldt mobile switch-server hos Telia fik lillejuleaftensdag firmaets telekunder til at havne midt i fremmede telefonsamtaler i stedet for at få fat på den person, de egentlig havde forsøgt at ringe op.
Imidlertid kunne de formentlig forbløffede kunder kun høre halvdelen af de fremmedes samtaler, mens personen, som skulle have modtaget opkaldet, alene kunne høre den, der ringede op.
"Den, du ringer til, kan høre dig. Men du kan kun høre den ene part i en anden samtale," forklarer Michael Rathje, der er network operation manager hos Telia.
Fejl efter genstart
Fænomenet, der i telebranchen kaldes krydstale, opstod ifølge Michael Rathje, efter en genstart af en mobil switch-server natten til 23. december.
Genstarten bevirkede, at softwaren til et såkaldt transmissionskort i den Ericsson-leverede mobil switch-server blev kørt forkert ind.
"Det bevirkede, at nogle af kaldene blev krydset i det her transmissionskort," fortæller Michael Rathje.
Imidlertid skulle man ifølge Michael Rathje være uheldig for at opleve problemet med de krydsede samtaler.
I løbet af dagen modtog Telia således i alt omkring 20 kundehenvendelser om problemet.
Kunder opdagede fejlen
Fordi Telia benytter et såkaldt pool-koncept, som deler trafikken mellem alle centraler, var der ingen geografisk afgrænsning i fejlens udbredelse, som både opstod på fastnet- og mobilsamtaler fra Telia-kunderne.
Samtidig er televirksomhedens net opbygget omkring fire redundante centraler, som alle indeholder en mobil switch-server. Men fejlen viste sig kun til stede på et transmissionskort i dette ene apparat, som befinder sig på en af de fire centraler.
"Kortet viser, at det kører, som det skal. Det er først da vi begynder at få kundeklager, at vi begynder at spørge os selv om, hvor problemet egentlig er," siger Michael Rathje.
Derfor fik firmaet ikke tilsendt nogen automatiske fejlalarmer om problemet i det fejlramte kommunikationskort, som gjorde det muligt at kende til fejlen, forklarer Michael Rathje.
Og det betød altså, at fejlen først blev opdaget, da kunderne i løbet af dagen begyndte at henvende sig til firmaets kundeservice.
Fandt fejlen ved hjælp af snarrådig kunde
I første omgang var det noget af et detektivarbejde at finde frem til årsagen, forklarer Michael Rathje.
Normalt fungerer en mobile switch-server således, at alle indkomne talesignaler opdeles i digitale pakker på omkring 10 bit, som så udstyres med et tidsstempel, hvorefter switchen blander pakkerne, så de ligger i én lang bitstrøm.
Når et opkald routes ud til modtageren, snupper switchen de relevante bitpakker med det rigtige tidsstempel fra den uendelige indgående bitstrøm og putter dem over i en anden udgående bitstrøm.
Men på grund af softwarefejlen kom den fejlramte mobile switch-server i en række tilfælde til at putte forkerte bitpakker over i forkerte samtaler.
Sporer opkald fra kunde
Det var ifølge Michael Rathje en behjælpelig kunde, som med hjælp fra leverandøren satte firmaet på sporet af fejlen i kommunikationskortets software.
Kunden holdt nemlig som aftalt opkaldet kørende anden gang, han oplevede problemet.
Og da kunden fra en anden telefon henvendte sig til Telia, var det ved hjælp af en sporing af samtalen nemt at finde ud af, præcis hvilken vej samtalen tog gennem telefonsystemet.
"Vi sporer på kaldet og finder ud af, at kaldet rammer dette her transmissionskort, som vi genstarter og loader ny software i. Og så kommer det op at køre igen," siger Michael Rathje.
