Det var et defekt linjekort på 10 gigabit i en router på core-netværket, som torsdag var skyld i omfattende problemer for Jaynets privatkunder og mellem 50 og 75 private og offentlige hostingkunder.
Det fortæller André Dommer, der er administrerende direktør hos Jaynet.
Problemet opstod først på eftermiddagen på den anden af firmaets seks core-routere, der i Glostrup distribuerer trafikken fra blandt andet trafik til og fra firmaets hostingcenter ud i verden via en række leverandører.
Men inden Jaynet fik lokaliseret problemet til dette, fejlsøgte teknikere på core-router nummer et, hvor symptomerne opstod, fordi den fejlramte router nummer to automatisk videredistribuerede trafikken til nummer et som en slags nødprocedure.
Fejlsøger forkert sted
"Vi kunne se, at kunder, der lå på nummer et, havde problemer. Så derfor fejlsøgte vores teknikere på den router, som gav problemet. Men det viste sig så i sidste ende at være et ti-gigabit linjekort på core-router nummer to, der var brændt ned," siger André Dommer.
Core-router nummer to ved selv, at der der noget galt og sendte trafikken via core-router nummer tre ud i verden. Samtidig sendte nummer et til nummer to, som jo havde en fejl og derfor bare sendte trafikken tilbage.
"Det betød, at kunder, der 'sad' på etteren, havde problemer. Men det var kun den trafik, som gik ud via TDC-transit," siger han.
Det skyldes, at core-router nummer to med det defekte kort har hovedpulsåre direkte til Albertslundcentralen, hvor Jaynet kobler op imod TDC's transit.
Kunder med trafik via andre af Jaynets opkoblinger videre ud i verden var derfor ikke berørt, fordi den defekte core-router nummer to videredistribuerede trafikken til naborouterne i core-netværket.
Ulogiske fejl tager tid at finde
"Vores bud er, at mellem 50 og 75 af vore kunder har haft fejl på omkring 30 procent af trafikken. Afhængigt af, hvilken type trafik der har været tale om," siger André Dommer.
Han understreger, at alle hostingskunders services har været fuldstændig upårvirket af fejlen. Med andre ord kørte alt perfekt. Der var bare ikke kontakt til omverdenen med trafik via TDC-forbindelsen.
"Alle virtuelle servere, firewalls og back-up har været uberørt," siger han.
Han fortæller, at det desværre kan tage tid at finde denne type af fejl, hvor logikken ikke er helt klar fra begyndelsen.
"Det er jo sommerferietid, men vi havde heldigvis en af vores seniorteknikere stand-by, som var så venlig at komme ind," siger André Dommer.
André Dommer fortæller, at det samtidig er svært at gardere sig mod fejl som den der indtraf hos Jaynet torsdag.
"Det er ikke sådan, at vi kan sige, at det ikke vil ske igen. Men nu er vi den erfaring rigere, og så er vi klar over, at vi har sat systemerne rigtigt op. Og det er jo heldigvis det vigtigste," siger han.
Til gengæld lover han at sende en hændelsesrapport ud til kunderne inden 24 timer efter at fejlen blev rettet.
Ramte også privatkunder
Den defekte core-router stod også for distributionen af DNS-service til privatkundernes forbindelser.
Derfor havde kunderne i princippet internetforbindelse, der var bare ingen DNS-service til at oversætte webadresserne til ip-adresser, forklarer direktøren. Så hvis kunderne ellers kunne huske eksempelvis Computerworlds ip-adresse i hovedet, ville siden faktisk komme frem i browseren.
"Hvis du har skrevet ip-nummeret direkte ind, så har du været flyvende," siger han.
Computerworld har tidligere på dagen beskrevet, at Jaynet ikke torsdag oplyste privatkunderne om udviklingen af fejlløsningen efter klokken 14, hvor sidste melding var, at firmaet stadig arbejde på en løsning.
Men privatkundernes problem med internet- og telefonforbindelser var overstået omkring klokken 20.00, da Jaynet fik flyttet DNS-servicen, fortæller direktøren.
Ifølge André Dommer var erhvervskundernes problemer løst klokken 23.10 torsdag aften, hvilket Jaynet også meldte ud på firmaets informationsside om driftsstatus til erhvervskunderne.
