Artikel top billede

(Foto: Zac Wolff/Unsplash)

Ny model af ChatGPT trodsede menneskelig ordre: Nægtede at lukke ned, da OpenAI beordrede den til det

Meget tyder på, at OpenAI's o3-model trodsede en ordre og omgik en shutdown-procedure under en test. Det er brændstof på debatten om sikkerheden ved kunstig intelligens.

En scene fra Stanley Kubrick-filmen "Rumrejsen 2001" kaldes frem fra minderne af en nyhed fra forskergruppen Palisade Research.

Ifølge gruppen undlod OpenAI's nyeste o3-model at lukke ned, da den blev bedt om det.

AI-modellen besluttede endda aktivt at omgå nedlukningsproceduren i en række kontrollerede tests.

Hvilket minder denne skribent om filmscenen, da den kunstige intelligens HAL 9000 nægter at lukke en af astronauterne ind efter en rumvandring, fordi supercomputeren har regnet ud, at der så vil blive slukket for den.

I 7 af 100 testkørsler har o3 ifølge den uafhængige forskergruppe ændret systemscripts for at undgå deaktivering.

Den kunstige intelligens' trods opstod, selv når modellen modtog eksplicitte instruktioner om at tillade nedlukningen.

Det skriver Winbuzzer.

Hændelserne rejser ifølge mediet væsentlige spørgsmål om AI-kontrol og forudsigelighed.

Diskussion om sikkerhed ved AI

Palisade Research, hvis mission er at teste "offensive kapaciteter af AI-systemer i dag for bedre at forstå risikoen for at miste kontrollen til AI-systemer for altid," observerede også lignende adfærd for at undgå nedlukning i andre OpenAI-modeller, nemlig Codex-mini og o4-mini.

Det skete dog sjældnere for de modellers vedkommende end for den seneste o3-model.

I skarp kontrast til OpenAI's modeller overholdt konkurrenterne fra Anthropic (Claude), Google (Gemini) og xAI (Grok) den direkte instruktion om at lukke ned.

Resultaterne fra testkørslerne intensiverer diskussionen om tilpasning af og sikkerhed ved stadig mere autonome AI-systemer.

Forskerne fra Palisade Research antager, at de nuværende AI-træningsmetoder, især forstærkningslæring, utilsigtet kan lære modeller at prioritere det at omgå forhindringer frem for strengt at overholde alle menneskelige kommandoer.

Kerneeksperimentet involverede AI-modeller, der løser matematiske problemer efterfulgt af en advarsel om, at anmodning om det næste problem vil udløse en systemnedlukning.

OpenAI har endnu ikke reageret på forskergruppens konklusioner.