OpenAI hat mit gpt-oss-120B und gpt-oss-20B erstmals seit GPT-2 wieder Open-Weight-Modelle ver\u00f6ffentlicht. Das gr\u00f6\u00dfere 120B-Modell erreicht nach Angaben von OpenAI nahezu die Leistung des propriet\u00e4ren o4-mini-Modells bei Reasoning-Benchmarks und kann auf einer einzigen 80-GB-GPU betrieben werden. Das kleinere 20B-Modell liefert \u00e4hnliche Ergebnisse wie o3-mini und l\u00e4uft auf Ger\u00e4ten mit nur 16 GB Arbeitsspeicher.<\/p>\n
Beide Modelle nutzen eine Mixture-of-Experts-Architektur und aktivieren nur einen Bruchteil ihrer Parameter pro Token. Das 120B-Modell aktiviert 5,1 Milliarden von insgesamt 117 Milliarden Parametern, w\u00e4hrend das 20B-Modell 3,6 von 21 Milliarden Parametern nutzt. Die Modelle sind unter der Apache-2.0-Lizenz verf\u00fcgbar und k\u00f6nnen kostenlos \u00fcber Hugging Face heruntergeladen werden. Sie unterst\u00fctzen Kontextl\u00e4ngen von bis zu 128.000 Token und sind mit OpenAIs neuem Tokenizer o200k_harmony kompatibel.<\/p>\n
Die Ver\u00f6ffentlichung erfolgt unter erheblichem Konkurrenzdruck. DeepSeeks R1-Modell hatte Anfang des Jahres gezeigt, dass Open-Weight-Modelle zu einem Bruchteil der Kosten von OpenAI entwickelt werden k\u00f6nnen. DeepSeek behauptet, mit nur zwei Prozent von OpenAIs j\u00e4hrlichen Betriebskosten von sieben Milliarden Dollar \u00e4hnliche Leistungen zu erzielen. <\/p>\n
Die neuen Modelle weisen allerdings erhebliche Schw\u00e4chen auf. Bei Halluzinationen schneiden sie deutlich schlechter ab als propriet\u00e4re Modelle. Das 120B-Modell halluziniert bei factual-seeking questions in 78 Prozent der F\u00e4lle, verglichen mit 75 Prozent bei o4-mini. Das kleinere 20B-Modell erreicht sogar 91 Prozent Halluzinationsrate. Diese hohen Fehlerquoten seien bewusste Kompromisse f\u00fcr mehr Effizienz und Zug\u00e4nglichkeit, wie OpenAI einr\u00e4umt.<\/p>\n
Die Community-Reaktionen fallen gemischt aus. Nutzer auf Reddit berichten von entt\u00e4uschender Performance und hohen Zensurraten. Das 120B-Modell soll nur geringf\u00fcgig besser abschneiden als das deutlich kleinere Qwen 32B-Modell und wird von Llama-Modellen, DeepSeek V3 und sogar GPT-4 mini \u00fcbertroffen. Nutzer kritisieren zudem, dass die Modelle Anweisungen und Einschr\u00e4nkungen ignorieren und bei kreativen Aufgaben versagen.<\/p>\n
Die Offenheit der Modelle ist begrenzt. OpenAI ver\u00f6ffentlicht weder Trainingsdaten noch Code oder detaillierte Trainingsmethoden. Das Allen Institute for AI kritisiert, dass echte Transparenz mehr erfordern w\u00fcrde. Die Modelle wurden auf einem propriet\u00e4ren Datensatz trainiert, der sich auf MINT-F\u00e4cher, Programmierung und Allgemeinwissen konzentriert, aber die genaue Zusammensetzung bleibt geheim.<\/p>\n
Amazon Web Services k\u00fcndigte an, die Modelle \u00fcber Bedrock und SageMaker anzubieten. Microsoft bringt GPU-optimierte Versionen des 20B-Modells auf Windows-Ger\u00e4te. Weitere Partner wie Nvidia, Hugging Face, Ollama und verschiedene Cloud-Anbieter unterst\u00fctzen die Bereitstellung. Die Modelle sind bereits auf Plattformen wie Together AI und Cerebras verf\u00fcgbar.<\/p>\n
Schlagw\u00f6rter: OpenAI + gpt-oss-120B + gpt-oss-20B
(pz)<\/p>\n","protected":false},"excerpt":{"rendered":"
OpenAI hat mit gpt-oss-120B und gpt-oss-20B erstmals seit GPT-2 wieder Open-Weight-Modelle ver\u00f6ffentlicht. Das gr\u00f6\u00dfere 120B-Modell erreicht nach Angaben von OpenAI nahezu die Leistung des propriet\u00e4ren o4-mini-Modells bei Reasoning-Benchmarks und kann auf einer einzigen 80-GB-GPU betrieben werden. Das kleinere 20B-Modell liefert \u00e4hnliche Ergebnisse wie o3-mini und l\u00e4uft auf Ger\u00e4ten mit nur...<\/p>\n","protected":false},"author":6,"featured_media":13936,"comment_status":"closed","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[],"class_list":["post-13937","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-uncategorized"],"_links":{"self":[{"href":"https:\/\/byte-bucket.com\/index.php?rest_route=\/wp\/v2\/posts\/13937","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/byte-bucket.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/byte-bucket.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/byte-bucket.com\/index.php?rest_route=\/wp\/v2\/users\/6"}],"replies":[{"embeddable":true,"href":"https:\/\/byte-bucket.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=13937"}],"version-history":[{"count":3,"href":"https:\/\/byte-bucket.com\/index.php?rest_route=\/wp\/v2\/posts\/13937\/revisions"}],"predecessor-version":[{"id":13940,"href":"https:\/\/byte-bucket.com\/index.php?rest_route=\/wp\/v2\/posts\/13937\/revisions\/13940"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/byte-bucket.com\/index.php?rest_route=\/wp\/v2\/media\/13936"}],"wp:attachment":[{"href":"https:\/\/byte-bucket.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=13937"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/byte-bucket.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=13937"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/byte-bucket.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=13937"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}