OpenAI veröffentlicht neue, halb-offene GPT-Modelle
OpenAI hat mit gpt-oss-120B und gpt-oss-20B erstmals seit GPT-2 wieder Open-Weight-Modelle veröffentlicht. Das größere 120B-Modell erreicht nach Angaben von OpenAI nahezu die Leistung des proprietären o4-mini-Modells bei Reasoning-Benchmarks und kann auf einer einzigen 80-GB-GPU betrieben werden. Das kleinere 20B-Modell liefert ähnliche Ergebnisse wie o3-mini und läuft auf Geräten mit nur 16 GB Arbeitsspeicher.
Beide Modelle nutzen eine Mixture-of-Experts-Architektur und aktivieren nur einen Bruchteil ihrer Parameter pro Token. Das 120B-Modell aktiviert 5,1 Milliarden von insgesamt 117 Milliarden Parametern, während das 20B-Modell 3,6 von 21 Milliarden Parametern nutzt. Die Modelle sind unter der Apache-2.0-Lizenz verfügbar und können kostenlos über Hugging Face heruntergeladen werden. Sie unterstützen Kontextlängen von bis zu 128.000 Token und sind mit OpenAIs neuem Tokenizer o200k_harmony kompatibel.
Die Veröffentlichung erfolgt unter erheblichem Konkurrenzdruck. DeepSeeks R1-Modell hatte Anfang des Jahres gezeigt, dass Open-Weight-Modelle zu einem Bruchteil der Kosten von OpenAI entwickelt werden können. DeepSeek behauptet, mit nur zwei Prozent von OpenAIs jährlichen Betriebskosten von sieben Milliarden Dollar ähnliche Leistungen zu erzielen.
Die neuen Modelle weisen allerdings erhebliche Schwächen auf. Bei Halluzinationen schneiden sie deutlich schlechter ab als proprietäre Modelle. Das 120B-Modell halluziniert bei factual-seeking questions in 78 Prozent der Fälle, verglichen mit 75 Prozent bei o4-mini. Das kleinere 20B-Modell erreicht sogar 91 Prozent Halluzinationsrate. Diese hohen Fehlerquoten seien bewusste Kompromisse für mehr Effizienz und Zugänglichkeit, wie OpenAI einräumt.
Die Community-Reaktionen fallen gemischt aus. Nutzer auf Reddit berichten von enttäuschender Performance und hohen Zensurraten. Das 120B-Modell soll nur geringfügig besser abschneiden als das deutlich kleinere Qwen 32B-Modell und wird von Llama-Modellen, DeepSeek V3 und sogar GPT-4 mini übertroffen. Nutzer kritisieren zudem, dass die Modelle Anweisungen und Einschränkungen ignorieren und bei kreativen Aufgaben versagen.
Die Offenheit der Modelle ist begrenzt. OpenAI veröffentlicht weder Trainingsdaten noch Code oder detaillierte Trainingsmethoden. Das Allen Institute for AI kritisiert, dass echte Transparenz mehr erfordern würde. Die Modelle wurden auf einem proprietären Datensatz trainiert, der sich auf MINT-Fächer, Programmierung und Allgemeinwissen konzentriert, aber die genaue Zusammensetzung bleibt geheim.
Amazon Web Services kündigte an, die Modelle über Bedrock und SageMaker anzubieten. Microsoft bringt GPU-optimierte Versionen des 20B-Modells auf Windows-Geräte. Weitere Partner wie Nvidia, Hugging Face, Ollama und verschiedene Cloud-Anbieter unterstützen die Bereitstellung. Die Modelle sind bereits auf Plattformen wie Together AI und Cerebras verfügbar.
Schlagwörter: OpenAI + gpt-oss-120B + gpt-oss-20B
(pz)
