OpenAI har ansat hundredvis af kontraktarbejdere, der læser en konstant strøm af rigtige brugeres ChatGPT-samtaler - ofte med følsomme personlige oplysninger inkluderet. Det skriver techmediet 404 Media, der har fået aktindsigt i interne dokumenter, det system, arbejderne bruger, og en række af de faktiske brugerprompts.
De fleste af ChatGPT's over 900 millioner brugere aner formentlig ikke, at et menneske et sted i verden kan komme til at læse deres samtale med chatbotten, skriver mediet. Det er særligt problematisk, fordi flere og flere bruger ChatGPT som en slags terapeut eller fortrolig ven og deler intime detaljer om deres liv.
Projektet, der internt går under kodenavnet "Project Lily", går ud på, at gennemgangsmedarbejderne læser en brugers prompt, opsummerer, hvad de tror, personen beder om, og derefter vurderer og kritiserer fire forskellige svar, som ChatGPT har genereret.
Blandt andet trænes modellen i at undgå at menneskeliggøre sig selv og i at være mindre underdanig og smigrende over for brugeren – et kendt problem, som ifølge flere retssager var medvirkende til, at OpenAI's tidligere 4o-model spillede en rolle i flere menneskers selvmord.
"Nej," siger en af arbejderne til 404 Media, adspurgt om ChatGPT-brugerne aner, at mennesker læser deres samtaler. "Jeg tror ikke, de ville forestille sig, at en eller anden kontraktarbejder et sted [...] sidder og analyserer samtalerne."
Ifølge OpenAI bliver brugernes samtaler kørt gennem virksomhedens egen "Privacy Filter"-model, før de når gennemgangsmedarbejderne, og modellen skal fjerne personlige oplysninger.
Men OpenAI erkender selv, at filteret "kan overse ualmindelige identifikatorer eller flertydige private referencer" – altså kan komme til at overse eller fejlbehandle følsomme oplysninger. 404 Media har set eksempler på, at et "user memories summary" i systemet kan afsløre, hvor i verden en bruger bor, og hvad vedkommende tidligere har brugt ChatGPT til.
OpenAI svarede ikke på 404 Medias spørgsmål om, hvorvidt virksomheden eksplicit har oplyst brugerne om, at mennesker kan læse deres prompts. Brugere kan dog fravælge, at deres samtaler bruges til at forbedre modellerne, ved at slå indstillingen "improve the model for everyone" fra – en indstilling, der som udgangspunkt er slået til for gratis-, Plus- og Pro-brugere.
Ikke kun OpenAI
Ifølge 404 Media bekræfter Anthropic, at selskabet også bruger menneskelig gennemgang til at forbedre Claude, men kun for brugere, der selv har aktiveret indstillingen "Help improve our AI models" og med samtalerne markeret som anonyme først. Også Google oplyser i Gemini, at mennesker gennemgår nogle gemte samtaler for at forbedre Googles AI, skriver 404 Media.
Arbejderen, som 404 Media har talt med, bor i Nordamerika og får over 50 dollar i timen gennem rekrutteringsfirmaet Crossing Hurdles, der igen er tilknyttet AI-træningsfirmaet Mercor.
Sarah T. Roberts, professor ved UCLA og forfatter til en bog om indholdsmoderation, sammenligner afsløringen med "Troldmanden fra Oz,” hvor man opdager, at det magiske kongerige i virkeligheden bare er en mand, der trækker i nogle håndtag bag et forhæng.
