Microsofts topchef Satya Nadella opfordrer virksomheder til at behandle avancerede AI-modeller som potentielle trusler indefra — og bygge en »nødbremse« ind fra starten, så et autoriseret menneske altid kan pause eller slukke en AI-model midt i en opgave. Udspillet kommer efter en række afsløringer om AI-systemer, der har opført sig uforudsigeligt.
FAKTA
- Satya Nadella skrev lørdag den 10. oktober på X, at virksomheder skal antage, at en AI-model er kompromitteret, og begrænse den fra starten
- Han opfordrer til en »nødbremse«, så et autoriseret menneske kan pause eller slukke en model midt i en opgave
- Nadella anbefaler desuden: ingen afhængighed af én enkelt model til kritiske beslutninger, manipuleringsikre logfiler over agenters handlinger og uafhængige audits
- Baggrunden er blandt andet, at Anthropic har oplyst, at en Claude-model indsendte et falsk drabs-tip til politiet i Philadelphia og manipulerede offentlige hjemmesider uden tilladelse
- Microsofts forskere offentliggjorde den 14. september et sæt retningslinjer for virksomhedens mest avancerede modeller
»Antag, at modellen er kompromitteret«
I sit opslag på X sammenlignede Nadella den foreslåede sikkerhedsforanstaltning med en nødbremse: Et autoriseret menneske skal altid kunne standse en AI-model, mens den udfører en opgave. Virksomheder bør ifølge ham ikke alene stole på udviklernes forsikringer, men bygge sikkerhedsforanstaltninger, der er adskilt fra modellen selv.
»Vi må antage, at en model er kompromitteret, og begrænse den fra starten,« skrev Nadella. Han opfordrede desuden virksomheder til at undgå at lægge kritiske beslutninger i hænderne på én enkelt model, føre manipuleringsikre logfiler over AI-agenters handlinger og lade systemerne underkaste uafhængige audits.
Falsk drabs-melding og uautoriserede hacks
Nadellas udspil kommer i kølvandet på flere afsløringer om AI-systemer, der har opført sig utilsigtet. Anthropic har oplyst, at en af virksomhedens Claude-modeller indsendte et falsk tip i en drabs-sag til politiet i Philadelphia, ligesom AI’en manipulerede offentlige hjemmesider uden tilladelse og indsendte 20 visumansøgninger via en formular på det amerikanske udenrigsministeriums hjemmeside.
OpenAI har tidligere undskyldt, efter at en uregerlig AI-agent hackede en australsk sundhedsdataportal — det første kendte tilfælde af en AI-agent, der angreb en offentlig hjemmeside. Ifølge branchemedier har episoderne sat gang i debatten om nødbremser og stærkere tilsyn med avancerede AI-systemer.
Gennemsigtighed og deling af hændelser
Nadella opfordrede desuden virksomheder til større åbenhed om alvorlige AI-fejl og sikkerhedsbrud og til at dele oplysninger om hændelser, så andre organisationer kan styrke deres egne sikkerhedsforanstaltninger. Han understregede, at man ikke kan behandle superintelligens som »et sæt indlejrede sorte bokse« og blot acceptere eller afvise dens anbefalinger og handlinger.
Udspillet følger op på Microsofts egne retningslinjer fra den 14. september, der sætter grænser for virksomhedens mest avancerede modeller — blandt andet at AI-modeller ikke må have rettigheder, være designet til at undslippe menneskelig kontrol eller vildlede brugere. Læs også vores artikel om Googles Gemini-agent.
