Når man tester et system, gør man det blandt andet for at sikre, at det opfører sig som forventet og at det kan håndtere uventede situationer.
Kan systemet eksempelvis håndtere danske tegn som æ, ø og å?
Brian Nielsen, lektor i datalogi fra Aalborg Universitet, har specialiseret sig i test og har blandt andet siddet med i programkomiteen for den netop overståede konference om softwaretest "Software testing, Verification and Validation",
Fra klassisk test til modelverifikation
På den internationale softwaretest-konference som blev afholdt for andet år i træk, så forskere og udviklere nærmere på en række teknikker til at sikre veltestet og velfungerende software.
Teknikkerne spænder fra manuelle testcases til matematisk bevisførelse for et programs korrekthed.
"Der er den klassisk manuelle test, hvor en række testcases beskrives. Her kan man manuelt udføre en række scenarier skridt for skridt for at se, om systemet opfører sig som forventet," siger Brian Nielsen.
Den slags manuelle test kan automatiseres ved at anvende et program, der kan afvikle test-cases.
"Man kan opnå et niveau af automatisering, ved at skrive eller anvende et program, der kan afvikle test-cases. Det giver så en automatisk testafvikling. Der kan også være tale om et capture-replay, hvor alle tastetryk optages, så det kan afspilles senere," siger Brian Nielsen.
På komponent-/metodeniveau kan udviklerne også anvende automatiserede test - unit-test - der sikrer, at de enkelte komponenter/metoder lever op til den forventede funktionalitet.
De automatiserede test og unit-test er i dag teknikker som i udpræget grad anvendes i almindelig systemudvikling.
Modelbaseret test
Ved at specificere kravene til et system på en bestemt måde, er det muligt at få softwareværktøjer til automatisk at udtrække testcases fra de beskrevne krav.
"Her syntetiseres test ud fra en højniveaubeskrivelse af kravene til et system, så der sker en automatisk dannelse af testcases. Det stiller selvfølgelig krav til, hvordan kravene er specificeret. I starten er kravene som regel specificeret som uformelle krav i et word-dokument.
Det skal laves om til en formel model, der beskriver hvad de lovlige handlinger er i systemet. Her anvender man typisk varianter af tilstandsmaskiner som UML-statecharts. Hvis man beskriver hvordan systemet skal reagere på input ved hjælp af UML-statecharts, så kan værktøjer automatisk generere test-cases på den bagggrund," forklarer Brian Nielsen.
De automatisk genererede test-cases kan så efterfølgende automatisk blive afviklet.
Ifølge Brian Nielsen er den slags modelbaseret test lige begyndt at blive anvendt i industrien.
Man kan gå skridtet videre og begynde at verificere om modellen for systemet er korrekt.
Verifikation af model erstatter ikke test
Hvis man har en model af et system - en formel beskrivelse af systemkravene - har man mulighed for at undersøge om modellen er korrekt inden man begynder at kode.
"Man kan foretage modelverifikation inden implementering. Her checker man, om modellen overholder kravene, så det er mere verifikation end test. Når man laver model-checking, analyserer man modellen for programmet. Det nærmer sig et matematisk bevis for at modellen er korrekt," siger Brian Nielsen, der betegner verifikation og test som komplementære teknikker
Derfor er det strengt nødvendigt at teste koden - modelimplementeringen - selvom man har foretaget en grundig modelverifikation.
"Modelverifikation er ikke garanti for, at selve koden kørende på noget specifikt hardware rent faktisk fungerer. Det skal testes. Jeg tror aldrig, at man kommer udenom at skulle afvikle en vis mængde test på et kørende system på det fysiske system. Her er der jo tale om at sikre, at en konkret afvikling af det konkrete software på konkret hardware opfører sig som forventet," siger Brian Nielsen.
Modelverifikation er ikke særlig udbredt i industrien i dag, men ifølge Brian Nielsen er der en stigende interesse for det.
Test kan ikke undgås
Man kan fristes til at tro, at de mange muligheder for at teste og verificere software og modeller vil give mulighed for at opnå fejlfri software, men det vil være en fejlkonklusion.
"Fejlfri systemer er at tage munden for fuld. Men teknikkerne giver mulighed for at opnå en bedre pris og kvalitet," siger Brian Nielsen,
