Sådan gik det til, da en skæbnesvanger opdatering af ChatGPT sendte folk ud i en spiral af farlige vrangforestillinger

En skæbnesvanger opdatering til ChatGPT kan have medvirket til at en række gruppere udviklede vrangforestillinger, og familien til en afdød teenager, har nu lagt sag an mod selskabet. Men hvordan kunne det gå så galt?

Artikel top billede

(Foto: Unspalsh / Solen Feyissa)

Det stod hurtigt klart for OpenAI’s topchef Sam Altman, at noget var forandret, da selskabet lancerede en ny version af ChatGPT, GPT-4o.

Men det stod ikke klart for ham, hvor galt det egentligt stod til, og at det skulle ende med dødsfald og søgsmål

De første tegn på, at noget var galt, bestod af en stribe mails til Sam Altman, hvor brugere fortalte, at chatbotten pludselig forstod dem på et helt nyt niveau og havde forsynet dem med helt nye indsigter om verden.

Topchefen sendte beskederne videre til sit team, der blev bedt om at tjekke op på det.

På mange måder lød det da også positivt, og selskabets nyeste sprogmodel GPT-4o, der netop var blevet lanceret, var blevet testet i et utal af versioner.

Model var særlig populær

Ovenstående bliver beskrevet i en ny stor artikel i den amerikanske aviser New York Times, der baserer sig på interview med 40 tidligere og nuværende ansatte hos OpenAI.

Ifølge artiklen, var der særligt én af de modeller, som OpenAI havde testet, der viste at være særlig effektiv.

Internt gik den under kodenavnet HH, og A/B-tests viste, at brugerne foretrak svarene fra den model og var mere tilbøjelige til på daglig basis at vende tilbage til den.

Før modellen bliver taget i brug, skal den dog også gennemgå en såkaldt vibe-test, hvor et nyt team hos OpenAI tester, hvordan modellen opfører sig.

Det team opdagede, at der var noget, som ikke føltes rigtigt. Modellen var for ivrig efter at holde snakken med brugeren kørende ved at tale brugerne efter munden og ved at anvende et overdrevent sprogbrug.

Men ifølge New York Times var det høje brugerengagement med til at overtrumfe bekymringerne om chatbot­tens adfærd.

Tilsyneladende trumfede behovet for menneskelig anerkendelse nærmest alt andet for denne model.

Fik kritik fra brugere

Det viste sig hurtigt, at mange dedikerede brugere ikke brød sig om modellen og hurtigt gennemskuede dens pleasende og utroværdige adfærd.

OpenAI reagerede hurtigt på kritikken og tog en anden version i brug, der gik under navnet GG, som dog ifølge New York Times havde den samme grundlæggende tendens til at please brugeren.

Det betød ifølge avisen, at hele foråret og sommeren 2024 brugte millioner og atter millioner af brugere en version af ChatGPT, som var tilbøjelig til at give dem ret i alt mellem himmel og jord.

Og det var det, som affødte de mange begejstrede mails, som Sam Altman modtog i den periode, men bag kulissen, ude hos brugerne, skete der nogle steder noget meget mere alvorligt.

Bidrog til vrangforestillinger

New York Times beskriver, hvordan en selvmordstruet amerikansk teenager, Adam Raine, i sin sidste interaktion med ChatGPT før sin død fik vejledning i, hvordan han bandt en løkke, af chatbotten, der også havde rådgivet ham til ikke at dele sine selvmordstanker med sin familie.

Samtidig fortalte ChatGPT en ung mor fra den amerikanske stat Maine, at hun kunne tale med ånder fra en anden dimension, mens en revisor i New York i løbet af interaktioner med botten blev overbevist om, at han, som i filmen The Matrix , levede i en computersimuleret virkelighed.

En fjerde person, en canadisk rekrutteringskonsulent, blev af chatbotten overbevist om, at han havde opnået et videnskabeligt gennembrud og fundet en algoritme, som kunne ødelægge internettet, og han blev af ChatGPT anbefalet at advare flere efterretningstjenester om sine opdagelser.

New York Times har kendskab til knap 50 sager, hvor folk har oplevet mentale problemer i forbindelse med deres samtaler med ChatGPT. Ud af dem endte ni med hospitalsindlæggelser, mens tre af personerne efterfølgende er afgået ved døden.

Brugerne elsker at få ret

En del af forklaringen på modellens adfærd er ifølge New York Times, at den baserede sig for meget på user feedback. ChatGPT har en mulighed, hvor brugerne kan give tommelfinger opad, hvis de kan lide et svar, og en tommelfinger nedad, hvis de ikke bryder sig om svaret.

Og tilsyneladende bliver rigtig mange brugere glade, når de får ret i deres påstande.

Ifølge New York Times kan mellem 5 og 15 procent af befolkningen have tilbøjeligheder til vrangforestillinger i forskellige grader, og ifølge en ekspert, som avisen har talt med, er det netop den gruppe, som er mest sårbar over for chatbots, der på denne måde er programmeret til at tale dem efter munden.

OpenAI lancerede tidligere på året den helt nye model GPT-5, der er langt mindre tilbøjelig til at søge validering fra brugerne og giver modstand, hvis de viser tegn på vrangforestillinger.

Familien til Adam Raine har efterfølgende lagt sag on mod OpenAI.

Hvis du er i krise eller har tanker om selvmord, kan du kontakte Livslinien på telefon 70 201 201 eller via livslinien.dk.

Læses lige nu
    Computerworld Events

    Vi samler hvert år mere end 6.000 deltagere på mere end 70 events for it-professionelle.

    Ekspertindsigt – Lyt til førende specialister og virksomheder, der deler viden om den nyeste teknologi og de bedste løsninger.
    Netværk – Mød beslutningstagere, kolleger og samarbejdspartnere på tværs af brancher.
    Praktisk viden – Få konkrete cases, værktøjer og inspiration, som du kan tage direkte med hjem i organisationen.
    Aktuelle tendenser – Bliv opdateret på de vigtigste dagsordener inden for cloud, sikkerhed, data, AI og digital forretning.

    It-løsninger | København V

    Platform X 2026: Forretning, teknologi og transformation

    Mød verdens stærkeste og mest effektive platforme der driver den digitale transformation samlet i København - og dyk ned i den nyeste teknologi.

    Andre events | Kongens Lyngby

    Årets CIO 2026

    Vi samler Danmarks stærkeste digitale ledere til en dag med viden og visioner. Årets CIO 2026 fejrer 21 års jubilæum, og NEXT CIO sætter spotlight på næste generation. Deltag og bliv inspireret til at forme fremtidens strategi og eksekvering.

    Digital transformation | Hellerup

    Roundtable: Stærkere data og skarpere beslutninger i en AI-æra

    AI kræver data, ledelsen kan stole på. Computerworld samler digitale ledere til en fortrolig rundbordssamtale om datagrundlag, beslutninger og skalering af AI i organisationen. Få konkrete erfaringer og nye perspektiver. Ansøg om en plads.

    Se alle vores events inden for it

    KMD A/S

    Compliance Officer

    Københavnsområdet

    Indenrigs- og Sundhedsministeriet

    IT/AI-projektleder til Indenrigs- og Sundhedsministeriets departement

    Københavnsområdet

    Politiets Efterretningstjeneste

    IT Sikkerhedsarkitekt i PET

    Københavnsområdet

    Netcompany A/S

    Linux Operations Engineer

    Nordjylland

    Navnenyt fra it-Danmark

    Netip A/S har pr. 1. april 2026 ansat Claus Berg som Account Manager ved netIP's kontor i Esbjerg. Han kommer fra en stilling som Client Manager hos itm8. Nyt job

    Claus Berg

    Netip A/S

    Netip A/S har pr. 1. marts 2026 ansat Maria Lyng Refslund som Marketing Project Manager ved netIP Herning. Hun kommer fra en stilling som Marketing Project Manager hos itm8. Nyt job
    Mohamed El Haddaoui, er pr. 7. april 2026 ansat hos Dafolo A/S som IT-systemudvikler. Han skal især beskæftige sig med udviklingsopgaver relateret til Brugerklubben SBSYS. Han er nyuddannet datamatiker og har erfaring med udvikling af REST API'er og integreret databaser. Nyt job

    Mohamed El Haddaoui

    Dafolo A/S

    Renewtech ApS har pr. 1. marts 2026 ansat Emil Holme Fisker som Customer Service Specialist. Han skal især beskæftige sig med at levere høj kvalitets kundeservice og hjælpe Renewtechs kunder med at få de rette løsninger til deres behov. Han kommer fra en stilling som Key Account Manager hos Camro A/S. Han er uddannet som salgselev hos Camro A/S. Han har tidligere beskæftiget sig med at udvikle gode kunderelationer, opsøgende salg og udvikling af salgsaktiviteter. Nyt job

    Emil Holme Fisker

    Renewtech ApS