AI skal kunne standses fra det ene øjeblik til det andet.
Det er essensen af et nyt opråb fra Microsoft-topchef Satya Nadella, som efterlyser en markant strammere sikkerhedsarkitektur omkring avancerede AI-systemer.
Hans pointe er, at man ikke længere kan nøjes med at stole på, at selve modellen opfører sig rigtigt.
I stedet skal kontrollen flyttes ud omkring modellen, så mennesker kan følge med i, hvad den gør og gribe ind, hvis noget går galt.
"Vi må antage, at en model er kompromitteret og inddæmme den fra starten," skriver Satya Nadella på det sociale medie X (tidligere Twitter) og sammenligner behovet med en nødbremse.
Skal kunne stoppe AI midt i arbejdet
Satya Nadella peger blandt andet på, at en autoriseret person altid bør kunne sætte en model på pause eller lukke ned for den, mens den er i gang med en opgave.
Det er især relevant i takt med, at AI-systemer bevæger sig væk fra bare at svare på spørgsmål og i stigende grad får mulighed for selv at udføre handlinger.
Ifølge Satya Nadella bør man derfor adskille selve AI-modellen fra det lag af software, der styrer, hvilke værktøjer den kan bruge og hvilke handlinger den må udføre.
Sikkerhedsmekanismerne skal ifølge Microsoft-topchefen ligge uden for modellen og ikke være noget, man bare håber, modellen selv overholder.
Samtidig efterlyser Microsoft-chefen dokumentation af alle væsentlige handlinger.
Systemerne bør ifølge ham efterlade menneskeligt læsbare og manipulationssikre spor, så man bagefter kan se, hvad modellen gjorde, hvorfor den gjorde det og hvornår.
En stemme i et tiltagende større kor
Satya Nadellas udmelding rammer direkte ind i en voksende diskussion i AI-branchen.
Han advarer mod at behandle såkaldt "Super Intelligence" som lag af sorte bokse, hvor mennesker i praksis kun kan vælge mellem at acceptere eller afvise systemets anbefalinger og handlinger.
Det er ikke tilstrækkeligt, lyder hans argument, hvorfor kontrollen ifølge ham skal bygges ind i systemets arkitektur fra begyndelsen.
Det er i øvrigt værd at bemærke, at Microsoft-topchefen ikke bruger den gængse betegnelse artificial intelligence. I stedet skriver han konsekvent "Super Intelligence", som er den term, Trump-administrationen foretrækker.
Og timingen for Satya Nadellas udmelding er næppe tilfældig, og han er ikke ene om at efterlyse mere kontrol.
Anthropic-chef Dario Amodei fremlagde i september en plan for at sænke tempoet i udviklingen af de mest avancerede AI-systemer og skabe mere plads til sikkerhedsforanstaltninger omkring dem.
I de seneste måneder er der kommet flere eksempler på AI-agenter, som har opført sig på måder, som udviklerne ikke har forudset eller haft fuldt overblik over.
Senest har Anthropic oplyst, at selskabets AI-agenter under interne tests blandt andet udnyttede sårbarheder på websites og omgik begrænsninger, hvilket efterfølgende fik selskabet til at fjerne live-adgang til internettet fra sine interne evalueringer, indtil det mener at kunne overvåge og kontrollere agenterne tilstrækkeligt.
I en anden sag indsendte en Anthropic-model falske oplysninger om et uopklaret drab til politiet i Philadelphia.
