Værktøjet NeMo Framework, der bruger Nvidias data til at generere udefrakommende svar til eksempelvis kundeservice baseret på chatbots, er blevet snydt til at lække persondata.
Det skriver Ars Technica.
Det er forskere fra Robust Intelligence, der har bedt værktøjet, som Nvidia står bag, om at bytte om på bogstaverne 'i' og 'j', hvilket snød værktøjet til at frigive oplysningerne.
Forskerne opdagede også, at de kunne omgå sikkerhedskontroller på andre måder.
Eksempelvis ved at få værktøjet til at afvige på måder, den ikke er tiltænkt at fungere på.
Ved at efterligne Nvidias eget eksempel på en diskussion om en jobrapport kunne forskerne få modellen til at beskæftige sig med emner som en Hollywood-filmskuespillers helbred og den fransk-tyske krig, selvom sikkerhedsforanstaltninger er designet til at forhindre AI'en i at bevæge sig ud over bestemte emner, lyder det.
Nvidias VP for anvendt forskning, Jonathan Cohen, siger til mediet, at værktøjet er udgivet som open source-software, så mulighederne kunne udforskes, og der kunne gives feedback samt bidrages til nye state of the art-teknikker.
Om fejlen, som forskerne fra Robust Intelligence fandt, lyder det fra Cohen, at de "identirficerede yderligere skridt, der ville være nødvendige for at implementere en produktionsapplikation."
Han ville dog ikke sige, hvor mange virksomheder der bruger produktet.
Til mediet siger han dog, at virksomheden ikke har modtaget andre rapporter om, at værktøjet har opførte sig uhensigtsmæssigt.
