Het Witte Huis werkt aan een testplan voor AI-modellen. Dat testplan roept veel vragen op bij AI-bedrijven. The Information zette die spanning in de kop van een artikel van Leo Schwartz. De volledige tekst staat achter een betaalmuur. Daardoor blijven de precieze details van het plan buiten beeld. De kernboodschap komt wel helder naar voren. Er ligt een voorstel van de Amerikaanse overheid op tafel. De bedrijven die de modellen bouwen, missen nog concrete antwoorden. Die combinatie bepaalt op dit moment de sfeer in de sector. Ontwikkelaars willen simpelweg weten waar ze aan toe zijn. Zij plannen lanceringen, investeringen en veiligheidstests ver vooruit. Onduidelijke regels maken zulke planning lastig. Deze samenvatting schetst daarom het speelveld en de vragen die daarbij horen.
Overheden kijken al jaren naar de risico’s van krachtige AI-systemen. Zij willen weten wat een model kan voordat miljoenen mensen het gebruiken. Het testen richt zich meestal op gevaarlijke capaciteiten. Denk aan hulp bij wapens, aan cyberaanvallen of aan grootschalige misleiding. Onderzoekers noemen zulke onderzoeken evaluaties. Bij een red-teamtest proberen specialisten een model bewust te misleiden. Zij zoeken de zwakke plekken actief op. Veel bedrijven doen dit inmiddels zelf. Ze publiceren de uitkomsten in zogeheten model- of systeemkaarten. Een overheidsplan verandert die praktijk wezenlijk. De toets komt dan deels buiten het bedrijf te liggen. Dat verschuift de macht over de conclusies. Precies daar begint de onzekerheid. Wie bepaalt straks of een model veilig genoeg is?
De belangrijkste vragen draaien om reikwijdte en criteria. Welke modellen vallen onder het plan? Geldt er een grens op basis van rekenkracht? Of kijkt de overheid vooral naar het gebruik van een model? Bedrijven willen ook weten wie de tests uitvoert. Doet een overheidsinstituut dat zelf? Of huurt de overheid onafhankelijke laboratoria in? Daarnaast telt de vraag welk onderdeel van de overheid de leiding neemt. Ook het moment van testen roept discussie op. Gebeurt dat tijdens de training, erna of vlak voor de lancering? Elk moment heeft andere gevolgen voor de planning. Verder blijft de norm zelf onduidelijk. Zonder vaste drempels kan een uitslag alle kanten op vallen. Ontwikkelaars vrezen in dat geval willekeur. Zij vragen om meetbare criteria en om een voorspelbaar proces. Ze willen bovendien de mogelijkheid om bezwaar te maken.
Een tweede reeks vragen gaat over toegang en vertrouwelijkheid. Modelgewichten en trainingsdata vormen de kroonjuwelen van een AI-bedrijf. Externe testers hebben vaak diepe toegang nodig. Die toegang raakt direct aan bedrijfsgeheimen. Bedrijven eisen daarom harde afspraken over beveiliging en opslag. Ze willen ook weten wie de resultaten mag inzien. Komen de uitkomsten openbaar? Of blijft de rapportage vertrouwelijk tussen bedrijf en overheid? Een openbaar rapport kan de reputatie beschadigen. Een geheim rapport ondermijnt juist het vertrouwen van het publiek. Daarnaast speelt tijd een grote rol. Een test die weken duurt, vertraagt een lancering. Concurrenten zonder die verplichting winnen dan terrein. Ook kosten en beschikbare capaciteit vormen een zorg. Er zijn wereldwijd weinig teams die zulke tests goed uitvoeren.
Een derde vraag betreft de status van het plan. Gaat het om vrijwillige afspraken of om bindende regels? Vrijwillige afspraken bieden ruimte, maar geven weinig zekerheid. Bindende regels vragen een wettelijke basis en stevig toezicht. Bedrijven willen weten wat er gebeurt bij een slechte uitslag. Mag een model dan niet naar de markt? Volgt er een aanpassing, een waarschuwing of een boete? Ook de verhouding tot andere regels blijft open. Amerikaanse staten schrijven hun eigen AI-wetten. Europa hanteert de AI-verordening met eigen verplichtingen. Een bedrijf dat wereldwijd levert, krijgt met meerdere regimes te maken. Dubbele tests kosten geld en kostbare tijd. De sector hoopt daarom op onderlinge erkenning van resultaten. Zonder afstemming groeit de administratieve last snel.
Het plan raakt bovendien niet elk bedrijf op dezelfde manier. Grote laboratoria beschikken over eigen veiligheidsteams en juristen. Zij kunnen een extra testronde relatief eenvoudig opvangen. Kleinere partijen en start-ups missen die capaciteit vaak. Voor hen weegt elke maand vertraging zwaar. Strenge eisen kunnen de markt daardoor verder concentreren. Openbronmodellen vormen nog een apart vraagstuk. Na publicatie kan niemand zo’n model terugroepen. Iedereen mag het downloaden en aanpassen. Een test vooraf krijgt dan een andere betekenis. Ontwikkelaars van open modellen willen weten of het plan ook voor hen geldt. Die groep vraagt om duidelijkheid, en wel snel.
Voor lezers is vooral het patroon van belang. De overheid zoekt grip op razendsnelle technologie. De sector zoekt zekerheid over regels en tempo. Beide partijen hebben elkaar hard nodig. Goede tests kunnen het vertrouwen in AI versterken. Onduidelijke tests beschadigen dat vertrouwen juist. De komende maanden brengen waarschijnlijk meer helderheid. Let daarbij op drie punten. Ten eerste: de definitie van de modellen die eronder vallen. Ten tweede: de rol en de onafhankelijkheid van de testers. Ten derde: de gevolgen van een negatieve uitslag. Zodra die punten vastliggen, verdwijnt een groot deel van de onzekerheid. Tot die tijd blijven AI-bedrijven vooral vragen stellen. Het artikel van The Information legt precies die situatie bloot. Wie alle details wil lezen, heeft een abonnement nodig.
