Spørger du ChatGPT om tips til aktier, råd om pension eller en vurdering af, hvilke banklån der er bedst?
Så bør du nok tænkte dig om en ekstra gang, før du foretager deciderede beslutninger basseret på chatbottens svar.
I hvert fald tager ChatGPT fejl i 45 procent af gangene, når det kommer til økonomiske spørgsmål.
Det konkluderer fire danske økonomiske eksperter i en ny undersøgelse foretaget af det danske marketingbureau Modeva.
I undersøgelsen har eksperterne stillet ChatGPT 100 spørgsmål, der alle vedrører økonomi.
Og mens den svarer rigtigt i 55 procent af tilfældene, så kommer den med ufuldstændige og/eller misledende svar i 30 procent af spørgsmålene – og svarer direkte forkert i 15 procent af tilfældene.
Bag vurderingen står fire danske finansielle eksperter, herunder chefanalytiker Louise Aggerstrøm Hansen fra Danske Bank. Hun fremhæver, at ChatGPT har visse styrker, men advarer kraftigt mod at bruge den som beslutningsgrundlag.
“Jeg ville virkelig være tilbageholdende med at bruge den til at træffe meget konkrete beslutninger,” siger hun.
“Men jeg synes helt sikkert, den kan noget i forhold til at give overblik, og jeg er generelt positivt overrasket over svarenes kvalitet.”
Falder på komplekse spørgsmål
Ifølge undersøgelsen fungerer ChatGPT bedst, når den skal give generelle indføringer i økonomiske begreber og skabe overblik. Det gælder for eksempel spørgsmål om, hvad en aktie er, eller hvordan et realkreditlån grundlæggende fungerer.
Problemerne opstår, når spørgsmålene bliver mere komplekse eller kræver opdateret viden.
“Den har sværere ved lidt mere kompleks rådgivning, som for eksempel pensioner. Der har den nogle gabende huller,” siger Louise Aggerstrøm Hansen.
I flere tilfælde undlader chatbotten helt centrale detaljer eller angiver decideret forkerte oplysninger, når det gælder spørgsmål om pensionsregler, skatteforhold eller aktuelle renteniveauer.
Derudover problematiserer undersøgelsen ChatGPT’s evne til at virke sikker i sine svar – også når den tager fejl. Flere af de vurderede svar indeholdt kilder, som enten var misvisende eller direkte opdigtede – for eksempel falske links til Nationalbanken.
Ikke en rådgiver
Alligevel er eksperterne enige om, at ChatGPT kan være et godt sted at starte, når man vil undersøge de til tider komplekse og uoverskuelige økonomiske spørgsmål. Men svarene må ikke stå alene.
“Som med alt andet, man vælger at spørge ChatGPT om, så skal man være kritisk i forhold til det svar, man får. Dernæst handler det om at dobbelttjekke det med banken, en økonomisk rådgiver eller andre steder online,” udtaler Kenneth Hansen, indehaver og stifter af Økonomisk Råd, i undersøgelsen.
Det er Rune Thyge Johansen, makroøkonomisk analytiker hos Danske Bank, enig i:
“Overordnet giver ChatGPT gode og korrekte svar på spørgsmålene. Man kan derfor få gode svar ved at spørge ChatGPT om generelle emner. Men på de mere tekniske spørgsmål kommer den til kort.
Ved større beslutninger vil jeg derfor altid anbefale at tale med en rådgiver. Ved mindre beslutninger vil jeg finde kilden bag svarene fra AI og se, om det kommer fra en troværdig kilde – for eksempel en dansk bank eller et rådgivningsfirma.”
Læs mere om undersøgelsen og se de 100 spørgsmål, ChatGPT er blevet stillet, her.
