OpenAI daagt Nvidia openlijk uit met de Jalapeño-chip, een eigen versneller voor AI-inferentie. Het bedrijf onthulde de chip in juni en deelde op de Hot Chips-conferentie veel meer details. Jalapeño bereikte tape-out in slechts negen maanden, een opvallend korte doorlooptijd voor zulke complexe hardware. OpenAI ontwikkelde de processor samen met Broadcom. Volgens het bedrijf verslaat Jalapeño de GB200 en GB300 van Nvidia. Dat geldt voor inferentie met lage vertraging en voor prestaties per watt.
De cijfers ogen fors. OpenAI ontwierp de chip volledig rond één taak: modellen razendsnel laten antwoorden. Jalapeño beschikt over 216 GB HBM4-geheugen en haalt tot 15,4 TB/s aan bandbreedte. De chip levert maximaal 3,4 PFLOPS in MXFP8 en 13,4 PFLOPS in MXFP4, bij 700 watt. Dat maakt hem geschikt voor inferentie. Het MXFP4-formaat is waarschijnlijk wel te beperkt voor het trainen van modellen. In de labs van OpenAI draait het silicium nu op 1,70 GHz. De ingenieurs willen de klok opvoeren naar 1,80 GHz voor hogere piekprestaties.
Schaalbaarheid vormt het echte verkoopargument van het platform. OpenAI denkt niet in losse chips, maar in complete rekenclusters. Binnen één rack koppelt OpenAI 128 versnellers via ethernet met 600 GB/s. Een pod van zestien racks bevat 2.048 chips, elk met 200 GB/s aan verbinding. Zo’n compleet systeem haalt 27 exaFLOPS in MXFP4, 432 TB HBM4-geheugen en 32 PB/s aan totale geheugenbandbreedte. Voor het netwerk gebruikt OpenAI Tomahawk 6-switches van Broadcom. Een half-flattened Clos-topologie met twee lagen verdeelt de bandbreedte slim over de verkeersstromen. Tensor-parallel verkeer krijgt ruime bandbreedte, expert-parallel verkeer minder, en beide krijgen voorrang op lage vertraging. OpenAI bevestigde tijdens de vragenronde dat dit scale-up-netwerk werkt met ethernetverbindingen van 200 Gb/s. Celestica bouwt de fysieke hardware rond de chip.
Op papier steken de specificaties nauwelijks af tegen Nvidia’s Blackwell Ultra. Die versneller haalt 10 PFLOPS in FP8 en 15 tot 20 PFLOPS in NVFP4. OpenAI benadrukt daarom dat rauwe rekenkracht het verschil niet maakt. Een domein van 128 Jalapeño-chips biedt meer dan 1 PB/s aan gezamenlijke HBM4-bandbreedte. Een GB300 NVL72 blijft steken op 576 TB/s. Een model met duizend miljard parameters vraagt in FP4 ongeveer 0,5 TB aan geheugen. Puur qua bandbreedte leest het systeem dat model dus ruim 2.000 keer per seconde volledig in.
In de praktijk komt geen enkele versneller in de buurt van dat theoretische plafond. Daarom blijven chipmakers niet eindeloos bandbreedte stapelen. OpenAI koos een andere weg: een geheugengesneden architectuur in NUMA-stijl. De chip bevat 64 rekenkernen, en elke kern krijgt zijn eigen stuk HBM-geheugen. Die opzet garandeert een voorspelbare vertraging en bandbreedte. Bovendien voorkomt ze de conflicten van een gedeeld geheugensysteem. Veelgebruikte data blijft zo dicht bij de kern die er het meest mee werkt.
Met Jalapeño zet OpenAI een duidelijke stap richting eigen hardware. Het bedrijf wil minder afhankelijk worden van dure en energieslurpende versnellers van andere leveranciers. Slimme dataverplaatsing weegt in die aanpak zwaarder dan het hoogste getal op de specificatiekaart. De komende tijd moet blijken of Jalapeño die belofte ook in echte productieomgevingen waarmaakt. Voor Nvidia betekent de chip in elk geval een serieuze concurrent uit onverwachte hoek.
