OpenAI presenteerde dinsdag de Jalapeño-chip op de Hot Chips-conferentie. Het bedrijf gaf daar voor het eerst uitgebreide benchmarkresultaten vrij. Die cijfers laten zien dat de Jalapeño-chip de huidige topchips voor inferentie verslaat. Onderzoeksbureau Semianalysis testte het nieuwe systeem met zijn InferenceX-benchmark. Jalapeño leverde in die test meer tokens per gebruiker dan de beste beschikbare inferentieprocessors. Daarnaast haalde de chip een hogere doorvoer per kilowatt stroom. Die twee scores meten heel verschillende dingen. Tokens per gebruiker zeggen iets over snelheid: hoe vlot krijgt iemand een antwoord terug? Doorvoer per kilowatt zegt iets over efficiëntie: hoeveel werk levert het systeem per eenheid stroom? OpenAI claimt dus een voorsprong op allebei die punten. Op Hot Chips presenteren chipmakers ieder jaar hun nieuwste ontwerpen aan vakgenoten. Ingenieurs bespreken daar de technische keuzes achter elk ontwerp openlijk. Dat maakt het podium een logische plek voor deze cijfers.
Richard Ho leidt de hardwareafdeling van OpenAI. Tijdens een persgesprek noemde hij de resultaten uitgesproken sterk. De uitkomsten tonen volgens hem een zeer significante vooruitgang ten opzichte van de state of the art. Ho legde uit dat Jalapeño meer AI-werk per eenheid stroom bedient. Tegelijk stuurt het systeem antwoorden sneller terug naar de gebruiker. Die combinatie komt niet vaak voor. Chips bedienen meestal óf heel veel klanten tegelijk, óf enkele gebruikers razendsnel. Jalapeño doet volgens Ho allebei: het schaalt efficiënt en houdt de vertraging laag. Voor OpenAI weegt dat zwaar. ChatGPT en verwante diensten draaien dag en nacht voor miljoenen mensen. Elke besparing op stroom vertaalt zich daar direct in lagere kosten. Kortere wachttijden verbeteren bovendien de ervaring van gebruikers meteen merkbaar.
Toch verdient de vergelijking een duidelijke kanttekening. OpenAI zette Jalapeño af tegen een Blackwell-systeem van Nvidia. Dat systeem geldt vandaag inderdaad als de maatstaf in de markt. Maar de concurrentie zit ondertussen niet stil. Ho verwacht dat Jalapeño pas eind 2026 in gebruik gaat, en dan in zeer kleine aantallen. Een bredere uitrol volgt volgens hem in 2027. Nvidia en andere fabrikanten brengen in die periode vrijwel zeker nieuwere generaties uit. De voorsprong die de benchmark nu laat zien, kan tegen die tijd dus krimpen. Daarbij komt dat de resultaten voortkomen uit een presentatie van OpenAI zelf. Onafhankelijke metingen op draaiende productiehardware ontbreken voorlopig. Lezers beschouwen deze cijfers daarom het best als een momentopname. Benchmarks meten bovendien altijd een beperkt aantal werklasten. De praktijk in een datacenter kent veel meer variatie.
OpenAI kondigde Jalapeño vorig jaar oktober voor het eerst aan. Het bedrijf ontwikkelde de chip in nauwe samenwerking met Broadcom. Broadcom brengt jarenlange ervaring met chipontwerp en netwerktechniek mee. OpenAI levert de kennis over de modellen die uiteindelijk op de hardware draaien. Opvallend genoeg hielpen de eigen modellen van OpenAI mee tijdens het ontwerpproces. Het bedrijf zette AI dus in om nieuwe AI-hardware te bouwen. OpenAI wil van Jalapeño bovendien een platform voor meerdere generaties maken. Producten, modellen, chips en geheugen ontstaan daarbij in samenhang met elkaar. Die aanpak wijkt af van de gebruikelijke gang van zaken in de sector. Meestal kopen AI-bedrijven standaardchips in en passen ze hun software daarop aan. OpenAI draait die volgorde om en stemt beide kanten vanaf het begin op elkaar af.
Dankzij die full-stack aanpak pakte OpenAI heel specifieke knelpunten aan. Inferentie verloopt namelijk in fasen, en elke fase belast het systeem anders. In de prefill-fase verwerkt het model eerst de volledige vraag van de gebruiker. Daarna genereert het antwoord zich stap voor stap, token voor token. Ook de communicatie tussen chips onderling kost kostbare tijd. Volgens OpenAI vormen juist die prefill- en communicatiefasen vaak een flessenhals. Het bedrijf ontwierp Jalapeño daarom rond één doel: minder dataverkeer en minder vertraging. In een blogpost schrijft OpenAI dat de modelstatus expliciet lokaal blijft staan. Dat geldt ook voor de KV-cache die het systeem tijdens het genereren gebruikt. Vervolgens activeert het systeem per fase de juiste mix van rekenkracht, geheugen en netwerk. Zo verplaatst de chip minder data en verliest hij minder tijd aan wachten.
De KV-cache speelt in dat verhaal een sleutelrol. Een model bewaart daarin de context van een lopend gesprek. Verhuist die cache voortdurend tussen chips, dan loopt de vertraging snel op. Blijft de cache dicht bij de rekenkernen, dan reageert het model merkbaar vlotter. OpenAI koppelt dit technische detail rechtstreeks aan de gemeten winst in de benchmark. Het bedrijf plaatst de gegevens dus bewust, in plaats van ze door het systeem te laten zwerven. Die keuze verklaart volgens OpenAI zowel de lagere latentie als de hogere efficiëntie. Andere fabrikanten worstelen al langer met dezelfde hardnekkige flessenhals. Zij ontwerpen hun chips echter voor een veel bredere groep klanten. Een chip die precies voor één werklast ontworpen is, kan daar simpelweg scherpere keuzes maken.
De inzet achter dit project reikt verder dan één chip. Rekenkracht en stroom vormen op dit moment de grootste rem op AI-diensten. Datacenters lopen inmiddels tegen de grenzen van het elektriciteitsnet aan. Wie meer werk uit dezelfde kilowatt haalt, wint daarom tijd én marge. Met eigen hardware maakt OpenAI zich bovendien minder afhankelijk van Nvidia. Die afhankelijkheid drukt al jaren op de kosten van de hele sector. Of Jalapeño de belofte waarmaakt, blijkt pas na de bredere uitrol in 2027. Tot die tijd blijven de benchmarkcijfers een sterke, maar voorlopige indicatie. Duidelijk is wel dat OpenAI zijn ambities in hardware serieus neemt. Het bedrijf bouwt niet langer alleen modellen, maar ook de machines eronder. Techjournalist Russell Brandom beschreef de resultaten voor TechCrunch.
