Een fundamentele fout maakt grote AI-modellen blijvend kwetsbaar voor aanvallen. Dat stelt een groep onderzoekers in een paper op de International Conference on Machine Learning (ICML), een van de belangrijkste AI-conferenties ter wereld. MIT Technology Review beschreef het onderzoek. De fout zit niet in één product en ook niet in een slordige instelling. Hij zit in de manier waarop taalmodellen bepalen wie hen iets opdraagt. De onderzoekers misbruikten dat mechanisme met succes. Populaire modellen gaven daardoor informatie prijs die ze juist nooit mochten delen. Denk aan uitleg over het maken van cocaïne. Of aan instructies om het navigatiesysteem van een verkeersvliegtuig te saboteren. “Er is een reële kans dat dit probleem fundamenteel onoplosbaar is”, zegt Charles Ye, onafhankelijk onderzoeker en medeauteur van de paper.
Taalmodellen krijgen hun instructies uit verschillende hoeken. De ontwikkelaar geeft een systeemopdracht mee. De gebruiker typt een vraag. Daarnaast komt er tekst binnen uit documenten, websites of andere programma’s. Het model moet die bronnen uit elkaar houden. De opdracht van de ontwikkelaar weegt immers zwaarder dan een willekeurige webpagina. Bedrijven markeren die rollen daarom met vaste labels rond de tekst. In theorie weet een model zo precies wie aan het woord is. De onderzoekers wilden weten of dat in de praktijk ook klopt. Ze keken daarvoor in de modellen zelf. De uitkomst viel tegen: taalmodellen houden rollen slecht bij.
Uit de experimenten blijkt iets opmerkelijks. Een model leidt de rol van een stuk tekst nauwelijks af uit de labels eromheen. Het kijkt vooral naar de stijl van de tekst en naar de gekozen woorden. Klinkt een passage als een systeemopdracht, dan behandelt het model die passage ook zo. Een aanvaller hoeft dus geen beveiliging te kraken. Het volstaat om tekst te schrijven die een bepaalde rol nabootst. Een bekende variant heet chain-of-thought forgery. Daarbij verzint de aanvaller een redenering die lijkt op het interne denkwerk van het model. Het model neemt die vervalste gedachtegang over en volgt vervolgens de gewenste koers.
De paper beschrijft aanvallen op verschillende modellen van OpenAI. Daar bleef het niet bij. Volgens de onderzoekers leverden latere tests hetzelfde beeld op bij modellen van Anthropic, Alibaba en DeepSeek. Het probleem hangt dus niet aan één bedrijf of aan één trainingsmethode. Rollen vormen een bouwsteen van de hele techniek. Ontwikkelaars kunnen een model wel bijtrainen op bekende aanvallen. Zulke trainingen dichten steeds één gat. De onderliggende verwarring blijft daarbij gewoon bestaan. Geen enkele hoeveelheid training lost het probleem daarom volledig op, stellen de auteurs.
Die conclusie raakt de hele sector. Bedrijven bouwen taalmodellen inmiddels in klantenservice, zoekmachines, code-editors en medische software. AI-agenten gaan nog een stap verder. Zij lezen zelfstandig e-mail, openen webpagina’s en voeren opdrachten uit. Elke binnenkomende tekst wordt dan een mogelijke aanvalsroute. Een onschuldig ogende pagina kan verborgen instructies bevatten. Het model ziet die instructies vervolgens aan voor een legitieme opdracht. “Er komt een enorme economische prikkel om jailbreaks en prompt injections uit te voeren”, zegt coauteur Cui. Wie geld kan verdienen met misbruik, zoekt net zo lang tot er een gat valt.
Wat kunnen organisaties dan wel doen? De onderzoekers adviseren om van het ergste uit te gaan. Vertrouw een taalmodel niet blind. Behandel alles wat een agent uitvoert als mogelijk onveilig. Bouw daarom controles buiten het model om. Laat gevoelige handelingen door een mens bevestigen. Beperk de rechten van een agent tot het strikt noodzakelijke. Log bovendien wat het systeem doet en houd daar toezicht op. “Dat is geen mooie oplossing, maar het is misschien wat we moeten doen”, aldus Ye.
De onderzoekers wijzen tot slot op een pijnlijker punt. Deze systemen sturen nu al kritieke processen aan. Tegelijk ontbreekt gedegen fundamenteel onderzoek naar hun werking. “Het is echt ongelooflijk dat deze dingen overal worden ingezet om superkritische systemen aan te sturen”, zegt een van de auteurs. “Er is geen studie gedaan naar de fundamentele wetenschap hierachter. We doen het allemaal ad hoc.” Die waarschuwing verdient aandacht. Zolang niemand precies weet waarom een model rollen door elkaar haalt, blijft elke beveiliging een pleister. Gebruikers en bedrijven zien taalmodellen dus beter als handige assistenten dan als betrouwbare poortwachters.
