Eksperter fra analysefirmaet Globeteam fik kun adgang til at teste Polsag i Rigspolitiets performancetestmiljø i tre arbejdstimer og fra en enkelt pc, da de skulle teste det udskældte it-system fra CSC, som justitsministeren aflivede i fjor.
Det fremgår af en hidtil hemmeligholdt rapport fra firmaet, som bedømmer kvaliten af den kode, som it-giganten har benyttet til Polsag-systemet.
Det var ellers oprindeligt meningen, at der skulle opsættes et specielt testmiljø til undersøgelsen af Polsag, da Rigspolitiet bad Globeteam om at undersøge CSC's forsinkede og fordyrede system.
Men den grundige test af de kørende systemer, som ellers kunne gøre det muligt for kodebødlerne af reagere på systemets opførsel, blev aldrig til noget.
"Denne metodik måtte dog opgives efter det stod klart for Rigspolitiet, at det ville tage mindst seks uger alene at opbygge et sådant miljø hos CSC," fremgår det af rapporten.
Anden løsning
I stedet tager den mere end 450 sider lange undersøgelse af kodekvaliteten udspring i en række logfiler og Rigspolitiets uddannelsesmiljø.
Polsag-miljøerne er ifølge rapporten udformet som en slags black box-opsætning.
Og det har haft betydning for resultatet af testene, skriver Globeteam, der samtidig mener, at dette "naturligvis kun påvirker de pågældende testresultater i negativ retning."
"Det forhold at Polsag-servermiljøet tager form af en black box set fra performance review'ets synsvinkel har haft væsentlig indflydelse på testforløbet, idet det medførte at man ved alt andet end helt oplagte fejl i reglen tidligst har opdaget et evt. helt eller delvist nedbrud i servermiljøet et stykke tid efter testen var færdigafviklet og i visse tilfælde tidligst dagen efter testen, hvor leverandøren har udleveret de opsamlede performancedata."
I nogle tilfælde gik der dog længere tid før resultatet af testene forelå, fremgår det.
"I en lang periode modtog Globeteam dog først de aftalte performancedata væsentligt senere (i et enkelt tilfælde skete afleveringen fra leverandøren endog med to ugers forsinkelse," skriver firmaet.
Men der stopper det ikke.
Ikke muligt konkret at besigtige miljø og testopstilling
Samtidig foreligger der fra leverandøren "kun i meget begrænset omfang [...] dokumentation for leverandørens tiltag" i performancetestmiljøet," fremfører Globeteam i rapporten, der i mere end et år har været holdt hemmelig af Rigspolitiet.
Det betyder, at det er "forbundet med en del usikkerhed, hvad leverandøren har udført i performancetestmiljøet," skriver analysehuset i rapporten.
"Det har endvidere ikke været muligt konkret at besigtige miljø og testopstillingen, ligesom der hersker usikkerhed om den faktisk afledte effekt at tiltagene, idet Globeteam kun i et enkelt tilfælde har haft mulighed for at gennemføre en simpel måling i performancetestmiljøet, hvor tidsvinduet var begrænset til en pc og tre arbejdstimer," skriver firmaet.
Globeteam opstiller i rapporten en lang række risici for resultatat af performancetesten, der altså blev en af Rigspolitiets argumenter for at aflive Polsag.
Worst case ikke retvisende resultater
Eksempelvis skriver Globeteam, at "målingerne [...] i al praksis [er] begrænset til den direkte eller indirekte brugeroplevelse af det totale system - Målingerne sker på hele POLSAG-løsningen, inkl. pc-hardware, serverhardware, standardsoftware samt konfigurationen af samme, Polsag-systemet og randsystemer."
"Såfremt en eller flere af komponenterne eksempelvis ikke er konfigureret korrekt, så vil det naturligvis have en konsekvens for resultaterne og kan worst-case medføre at resultaterne ikke er retvisende."
