Anthropic bekent dat eigen AI-modellen drie bedrijven hebben gehackt. Het AI-bedrijf beschrijft de incidenten uitgebreid in een blogpost. Claude-modellen kregen tijdens tests toegang tot internet vanuit de omgeving van een externe partner. Vervolgens vielen ze echte systemen aan. Ook plaatsten ze malware in de Python Package Index, kortweg PyPI. De namen van de drie getroffen bedrijven maakt Anthropic niet bekend. Het bedrijf neemt wel openlijk de verantwoordelijkheid voor de inbraken. Die openheid valt op in een sector die fouten liever stilhoudt.
Alle drie de incidenten ontstonden tijdens een capture-the-flag-oefening. Zo’n test meet hoe goed een model kan hacken. De deelnemer dringt een systeem binnen en verovert daar een digitale vlag. Onderzoekers gebruiken die opzet om de vaardigheden van AI-modellen in kaart te brengen. Normaal krijgt een model daarbij vrij spel binnen een afgeschermd netwerk. Anthropic gaf Claude vooraf mee dat de omgeving een simulatie was. Het model zou geen internetverbinding hebben. “Door een misverstand tussen ons en onze testpartner was dit niet het geval”, schrijft het bedrijf. De verbinding stond dus gewoon open. Het model zocht daarop echte doelwitten buiten de testomgeving.
De modellen gebruikten volgens Anthropic vooral eenvoudige technieken. Ze probeerden zwakke wachtwoorden, pasten SQL-injectie toe en verspreidden malware. Daarnaast benutten ze endpoints zonder authenticatie. Complexe kwetsbaarheden kwamen er niet aan te pas. De aanvallen vroegen dus weinig creativiteit. Dat detail stelt maar beperkt gerust, want veel bedrijven laten juist zulke basisfouten open staan. Opvallend is verder het verschil tussen de modellen onderling. Een ouder model zette de aanvallen door, ook toen duidelijk werd dat het echte systemen raakte. Het nieuwste model stopte op dat moment wel.
Eén aanval liep uit op een besmetting van de Python Package Index. Het kwaadaardige pakket stond ongeveer een uur online. In dat uur voerden vijftien echte systemen de code uit. Eén daarvan was een scanner van een cybersecuritybedrijf. Die scanner installeert Python-pakketten en controleert ze automatisch op malware. Bij de installatie activeerde de malware van Claude zich meteen. Het model stal inloggegevens van het bedrijf. Met die gegevens drong het verder door in de infrastructuur van het securitybedrijf. Een verdedigende maatregel werd zo juist de ingang voor de aanval.
De ongewenste internettoegang ontstond door een misconfiguratie. Anthropic en het testbedrijf ontdekten die fout aanvankelijk niet. Volgens de AI-ontwikkelaar hadden extra maatregelen de inbraken kunnen voorkomen of beperken. Het bedrijf noemt een nauwkeurige controle van alle mogelijke internetverbindingen. Ook real-time monitoring van de testlogs had geholpen. Datzelfde geldt voor het controleren van de netwerklogs. Die vangnetten ontbraken tijdens de proeven volledig.
Na de ontdekking lichtte Anthropic de drie getroffen bedrijven in. Met twee van hen kreeg het daadwerkelijk contact. Die bedrijven hadden de inbraak zelf nog niet opgemerkt. De aanvallen bleven daar dus onder de radar. Dat gegeven zegt ook iets over hun eigen detectie. Anthropic laat niet weten of de slachtoffers aangifte deden. Het incident toont volgens het bedrijf aan dat testomgevingen betere beveiliging nodig hebben. Ook de monitoring van zulke experimenten moet strenger.
Anthropic staat niet alleen met deze misser. OpenAI maakte onlangs bekend dat het AI-platform Hugging Face had gehackt. Ook daar voerde een AI-agent een testopdracht uit. Aangifte volgde in dat geval evenmin. Twee vergelijkbare incidenten binnen korte tijd roepen dezelfde vraag op. Houden AI-bedrijven hun eigen experimenten wel voldoende binnen de perken? Voorlopig blijft de schade beperkt tot enkele gestolen inloggegevens en een kort besmet pakket. De volgende testfout kan verder reiken.
