Denne artikel stammer fra det trykte Computerworlds arkiv. Artiklen blev publiceret den Computerworld d. 31. august 2007.
Vi vil snart få maskiner, der forstår og udtrykker følelser, og de emotionelle maskiner kan både lyve for os og manipulere med os.
Der var engang, hvor en dårlig brugerflade og et ustabilt styresystem var de værste problemer med computere. I fremtiden kan vi få problemer med manipulerende og løgnagtige computere, som vi bare ikke kan stole på.
De teknologiske brevkasser vil få spørgsmål som: Jeg tror, min computer lyver for mig - hvad skal jeg gøre?
Nu er der heldigvis intet, der tyder på, at Microsoft planlægger at indbygge løgnagtighed i næste version af Windows - ud over den lille løgn, der selvfølgelig ligger i at kalde noget Genuine Advantage, hvis det snarere burde hedde CopyCop.
Men løgn er en realistisk mulighed i vores fremtidige interaktion med maskiner. Det er i hvert fald en af flere overvejelser, de har gjort i EU-projektet Humaine. Humaine står for Human Machine Interaction Network on Emotion, og projektet udforsker alle mulige forbindelser mellem menneskelige følelser og computere.
Dels som grundforskning i, hvordan man kan definere følelser i computersammenhæng, hvordan computere kan aflæse/udtrykke følelser og bruge dem i menneskelig interaktion og dels, hvordan mennesker forholder sig til maskinudtrykte følelser.
Især når man beskæftiger sig med autonome maskiner, bliver tingene ganske interessante. De autonome maskiner skal være i stand til et meget varieret sæt af handlinger baseret på deres aflæsning af omgivelserne.
Mange af os er vokset op med Data fra Star Trek. Han var en android med det specielle problem, at som maskine havde han ingen følelser. Forfatterne af Star Trek fik en del sjove scener ud af Datas besvær med forstå følelser på trods af hans eminente evner for logisk tænkning.
Hovedtanken i Star Trek var selvfølgelig, at følelser var noget specifikt menneskeligt, som var umuligt for maskinen at fatte - samt at følelser var det, der gav os en fordel, selv over for en maskine der tænkte bedre end os. Data er helt klart fra en tid, inden videnskaben opdagede, at følelser er en slags hardcoded evolutionær tænkning, en slags biologisk rationalisme.
De seneste år har set en lang række projekter fra Humaine - jeg har omtalt et par her på siden - og andre forskere vist, at menneskets følelser ikke er så totalt unikke eller umulige at forstå, som vi en gang troede.
Det spændende ved mange af forsøgene har været, at hvor man tidligere - inden robotterne - har forsøgt at beskrive følelser ud fra filosofiske, naturvidenskabelige eller psykologiske principper, så har maskinforskerne taget en noget mere pragmatisk vinkel.
Deres spørgsmål har været om, det er muligt at genkende følelser på en brugbar måde, og er det muligt for en maskine at imitere følelser på en måde, som er genkendelig for mennesker? Svaret ser ud til at være et ret klart ja på begge spørgsmål.
Derfor har de i Humaine-projektet haft en seriøs etisk diskussion af, hvordan man kan bruge følelser i forbindelse med maskiner. Når følelser bliver involveret, stiger risikoen nemlig for, at der opstår tvivlsomme situationer.
Hovedformålet med, at en maskine kan tolke en brugers følelser, er jo en form for manipulation. Maskinen skal reagere på vores følelser ved at give os informationer på en følelsestilpasset måde, eller den skal forsøge at ændre vores emotionelle tilstand.
Vores nuværende maskiner kan være ekstremt irriterende med deres idiotiske ensartethed, men en maskine, der manipulerer med vores følelser, er faktisk skrækindjagende.
Vi ved endnu ikke, hvor godt denne manipulation vil virke. Det kan tænkes, at den fiser ud fuldstændig som halvtredsernes løfter om manipulation af vores bevidsthed med subliminale reklamer - for de virker da ikke, vel?
Det er ikke sandsynligt, at computeren bevidst vil forfalske resultaterne i dit regneark for at gøre dig glad eller lade som om den har et teknisk sammenbrud, hvis du forsøger at gå ind på et website, du ikke har godt af.
Men tag dette eksempel: Du ringer ind til supportfunktionen hos et stort softwarefirma. Du er rygende gal, for du har endnu en gang opdaget, at de har spildt din tid med en fejl, som de burde have rettet for længe siden.
Maskinen, der tager telefonen, har selvfølgelig en sød kvindestemme (du er allerede bragt lidt i defensiven). Da du begynder at skælde ud over fejlen, opdager den straks, at du er ophidset. Dens første formål bliver så at bringe din ophidselse ned - ikke at afhjælpe fejlen.
Det gør den ved med stor sympati at sige noget i stil med "jeg er virkelig ked af at høre, at du har det problem" (vi falder alle for sympati). Derefter siger den "Lad mig lige tænke et øjeblik" (maskinen ved, at vrede er svær at vedligeholde, så den forsøger indskyde små pauser så ofte som muligt. Men pauserne må ikke blive for lange, for så bliver brugeren vred over det. Så den lytter nøje til hans åndedræt og forsøger at finde frem til, hvor længe lige denne bruger kan tåle at vente uden at blive vredere).
Derefter dukker den op igen og siger "Du må meget undskylde, men der er adskillige fejl, der passer på din beskrivelse - må jeg have lov at stille dig nogle flere spørgsmål?" (maskinen har omfattende en viden om brugeres adfærd og kan via mikroindikatorer i deres stemme beslutte præcist hvilket høflighedsniveau, den skal bruge).
Der er flere interaktioner, og efterhånden kommer du til at synes helt godt om denne høflige og meget hjælpsomme kvinde, der har god tid og gør sit yderste for at hjælpe dig.
Til sidst slutter den af med at fortælle dig, at problemet desværre ikke er løst, men firmaets gruppe for løsninger på svære problemer er på opgaven, og hun vil personligt kontakte dig, så snart der er fundet en løsning.
Efter den samtale er du godt tilfreds - problemet er ikke blevet løst, men nogen har lyttet, og du ved, at du får løsningen, så snart det er menneskeligt muligt.
På den ene side kan man sige, at maskinen har håndteret en følelsesmæssigt svær situation til topkarakter og fået dig til at føle dig tilfreds og tilpas.
På den anden side kan vi ikke komme uden om, at du er blevet manipuleret, selvom du måske ikke decideret er blevet løjet for.
I Humaines etiske overvejelser har de opstillet en matrix med seks forskellige situationer, som indeholder potentielle problemer:
Et af dem er om maskinen skjuler sine rigtige intentioner. I tilfældet kan man spørge, om maskinens intention er at afhjælpe problemet eller at demontere brugerens vrede over produktet? Lidt af hvert måske - med mindre firmaet er meget kynisk.
Humaines svar på, om det er rimelig måde at bruge følelsesmæssig påvirkning, er også lidt vaklende. Ret beset burde systemet måske starte med at advare brugeren om, at det nu vil forsøge at overtale ham til at synes, at fejlen ikke er så alvorlig/at firmaet gør sit bedste.
Et andet problem er om systemet skjuler informationer for brugeren? For eksempel er det tænkeligt, at firmaet har en prioritering af fejlen, så den først bliver rettet om otte måneder. Det vil sandsynligvis være uklogt at fortælle brugeren i situationen - så er det bedre at love at vende tilbage så snart, den er blevet rettet.
I det tilfælde er Humaine noget mere klar i mælet. De siger nej. Det er i langt de fleste tilfælde ikke etisk forsvarligt over for brugeren.
Et tredje interessant spørgsmål handler om, om maskinen ændrer brugerens emotionelle tilstand? Det kan enten ske subliminalt - altså uden at vi opdager det - eller det kan ske direkte imod vores ønske.
Det er en lang diskussion, hvad formålet med følelser er. Men i tilfældet her vil brugeren vel ønske at være vred; til han har fået løst sit problem? Så når maskinen forsøger at få ham til at falde til ro, er det faktisk direkte imod hans ønske.
Det mener Humaine er etisk uforsvarligt og ren manipulation af brugeren.
Det lyder som gamle science fiction-fortællinger af Asimov - ham der fandt på de tre grundregler for robotters adfærd. Der er formentlig mindst 20 år til, vi ser gode autonome humane androider. Men spørgsmålet om emotionel påvirkning af brugeren og alle de afledte manipulationer er allerede relevante i masser af laboratorieforsøg. De første kommercielle projekter, der vil gøre det til daglig virkelighed er kun et par år væk - og udviklingen går rivende stærkt.
redaktionen@cw.dk
Billedtekst: Følsomme robotter Menneskets følelser ikke er så totalt unikke eller umulige at forstå for maskiner, som vi en gang troede.
Foto: iStockphoto
OriginalModTime: 30-08-2007 13:31:33
