MLCommons, ein Zusammenschluss verschiedener Hersteller, hat es sich zum Ziel gesetzt, unabh\u00e4ngige und vergleichbare Benchmarks f\u00fcr Datacenter-Hardware anzubieten. K\u00fcrzlich wurden die Ergebnisse der Inference-Runde 4.0 ver\u00f6ffentlicht, in der eine neue Neuigkeit pr\u00e4sentiert wurde: Der H200-Beschleuniger von NVIDIA feierte sein Deb\u00fct. Dieser Beschleuniger nutzt die Hopper-Architektur und hat die gleiche Ausbaustufe wie der H200-Beschleuniger von NVIDIA, unterscheidet sich jedoch dadurch, dass er anstelle von 80 GB HBM2 auf 141 GB HBM3E setzt. In zuk\u00fcnftigen KI-Beschleunigern wird voraussichtlich HBM3E verwendet werden.<\/p>\n
NVIDIA hat au\u00dferdem die Blackwell-GPU mit HBM3E angek\u00fcndigt, w\u00e4hrend AMD plant, seine Instinct-MI300A\/X-Beschleuniger auf HBM3E umzur\u00fcsten. Insbesondere beim Inferencing und Training von Large Language Models (LLMs) zeigt sich die Auswirkung der hohen Bandbreite des schnelleren Speichers. Es ist daher nicht \u00fcberraschend, dass die Hardwarehersteller derzeit ihre Aufmerksamkeit auf Generative AI und LLMs richten, da sich fast alles im Datacenter-Umfeld darauf konzentriert.<\/p>\n
Im Rahmen der Inference-4.0-Ergebnisse erhalten wir nun einen ersten unabh\u00e4ngigen Vergleich zwischen NVIDIAs H100-Beschleuniger, dem neu eingef\u00fchrten H200-Beschleuniger und dem Gaudi-2-Beschleuniger von Intel. Der Bedarf im Bereich der Datacenter-Anwendung verschiebt sich zunehmend in Richtung Inferencing. Nachdem bestehende Modelle trainiert wurden, erfolgt oft nur noch das Inferencing. NVIDIA prognostiziert, dass derzeit 40% der Hardware f\u00fcr das Inferencing verwendet wird und erwartet, dass dieser Anteil in Zukunft weiter steigen wird. Aus diesem Grund hat NVIDIA die Blackwell-GPU speziell f\u00fcr das Inferencing entwickelt.<\/p>\n
Einige ausgew\u00e4hlte Ergebnisse der Leistungstests zeigen, dass die H200-Beschleuniger von NVIDIA im Server-Bereich eine h\u00f6here Punktzahl erreichen als der H100-Beschleuniger. Auch im Offline-Bereich ist die Leistung des H200-Beschleunigers h\u00f6her. Die H200-Beschleuniger sind mindestens viermal schneller als die Gaudi-2-Beschleuniger von Intel. Im Vergleich zum H100 erreicht der H200 eine Leistungssteigerung von 30% bei 700 W. Durch die Verwendung der Custom Cooling Solution (CTS) kann die Leistung des H200 um bis zu 45% gesteigert werden. Es ist jedoch zu beachten, dass die CTS-L\u00f6sung einen h\u00f6heren Stromverbrauch von 1.000 W aufweist, jedoch nur um 15% schneller ist. In dieser Konfiguration arbeiten die H200-Beschleuniger also au\u00dferhalb ihres idealen Betriebsfensters.<\/p>\n
Es besteht die M\u00f6glichkeit, DGX- und MGX-Systeme mit H100-Beschleunigern auf H200-Beschleuniger zu aktualisieren. Die kommenden B100-Beschleuniger werden ebenfalls Drop-in-kompatibel sein. Die ersten H200-Beschleuniger wurden bereits an Cloud Service Provider und OEMs versendet und die Marktverf\u00fcgbarkeit steht kurz bevor. Die Inferencing-Ergebnisse enthalten keine Informationen zu den Instinct-MI300A\/X-Beschleunigern, jedoch ist Intel mit dem Gaudi-2 vertreten. Wie bereits in den Benchmarks festgestellt wurde, kann der Gaudi-2-Beschleuniger in Bezug auf die Leistung nicht mit den NVIDIA-Beschleunigern mithalten. Intel bietet jedoch ein besseres Preis-Leistungs-Verh\u00e4ltnis.<\/p>\n
Insgesamt zeigen die Ergebnisse der Inference-4.0-Runde die Leistungsf\u00e4higkeit der neuen H200-Beschleuniger von NVIDIA im Vergleich zu anderen Modellen. Die steigende Bedeutung des Inferencings im Datacenter-Umfeld spiegelt sich in der Entwicklung der Hardware wider. Die kommenden HBM3E-basierten Beschleuniger werden voraussichtlich noch bessere Leistungen bieten. Es bleibt spannend zu beobachten, wie sich der Markt in diesem Bereich weiterentwickeln wird.<\/p>\n
Schlagw\u00f6rter: NVIDIAs H100 + H200 + 15487.46 XX Intel<\/p>\n","protected":false},"excerpt":{"rendered":"
MLCommons, ein Zusammenschluss verschiedener Hersteller, hat es sich zum Ziel gesetzt, unabh\u00e4ngige und vergleichbare Benchmarks f\u00fcr Datacenter-Hardware anzubieten. K\u00fcrzlich wurden die Ergebnisse der Inference-Runde 4.0 ver\u00f6ffentlicht, in der eine neue Neuigkeit pr\u00e4sentiert wurde: Der H200-Beschleuniger von NVIDIA feierte sein Deb\u00fct. Dieser Beschleuniger nutzt die Hopper-Architektur und hat die gleiche Ausbaustufe...<\/p>\n","protected":false},"author":4,"featured_media":6084,"comment_status":"","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[],"class_list":["post-6085","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-uncategorized"],"_links":{"self":[{"href":"https:\/\/byte-bucket.com\/index.php?rest_route=\/wp\/v2\/posts\/6085","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/byte-bucket.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/byte-bucket.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/byte-bucket.com\/index.php?rest_route=\/wp\/v2\/users\/4"}],"replies":[{"embeddable":true,"href":"https:\/\/byte-bucket.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=6085"}],"version-history":[{"count":0,"href":"https:\/\/byte-bucket.com\/index.php?rest_route=\/wp\/v2\/posts\/6085\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/byte-bucket.com\/index.php?rest_route=\/wp\/v2\/media\/6084"}],"wp:attachment":[{"href":"https:\/\/byte-bucket.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=6085"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/byte-bucket.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=6085"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/byte-bucket.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=6085"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}