Mistral AI, een snelgroeiende Europese AI-startup, heeft onlangs het taalmodel Mistral Small 3 geïntroduceerd. Dit model, met 24 miljard parameters, biedt een nauwkeurigheid van 81% op standaard benchmarks en verwerkt 150 tokens per seconde. Het evenaart daarmee de prestaties van grotere modellen, zoals Meta’s Llama 3.3 met 70 miljard parameters, maar dan met aanzienlijk lagere rekenkosten en snellere verwerking.
Het succes van Mistral Small 3 is te danken aan geoptimaliseerde trainingstechnieken. Het model werd getraind op 8 biljoen tokens, wat efficiënter is dan de 15 biljoen tokens die voor vergelijkbare modellen worden gebruikt. Opvallend is dat Mistral dit bereikte zonder gebruik te maken van reinforcement learning of synthetische trainingsdata, methoden die vaak door concurrenten worden toegepast.
Door de introductie van Mistral Small 3 onder de Apache 2.0-licentie kunnen bedrijven het model vrij aanpassen en implementeren. Deze ontwikkeling maakt geavanceerde AI-toepassingen toegankelijker voor organisaties die bezorgd zijn over de hoge kosten en complexiteit van grotere modellen. Bovendien benadrukt het de verschuiving in de AI-industrie naar efficiëntere en kosteneffectieve oplossingen.
