MLCommons zeigt: Mehr Beschleuniger, bessere Ergebnisse für Datacenter-Training und HPC

Im Bereich der Künstlichen Intelligenz (KI) spielen HPC (High Performance Computing) und Datacenter-Training eine entscheidende Rolle. Hier werden stetig nach neuen Möglichkeiten und Technologien gesucht, um die Leistung und Skalierbarkeit zu verbessern. Die MLCommons hat kürzlich neue Ergebnisse präsentiert, die vielversprechende Fortschritte in diesem Bereich aufzeigen.

Besonders interessant sind die Trainings-Ergebnisse, bei denen erstmals eine größere Anzahl von Beschleunigern in der Hardware eingesetzt wird als zuvor. Dabei konnten NVIDIA und Azure herausragende Ergebnisse mit ihren Systemen erzielen. Azure setzt pro Knoten auf zwei Intel Xeon Platinum 8480C Prozessoren mit jeweils 56 Kernen und acht H100-Beschleunigern. Insgesamt werden somit 10.752 H100-Beschleuniger eingesetzt. Der EOS-Supercomputer von NVIDIA nutzt Xeon Platinum 8462Y Prozessoren mit 32 Kernen und verfügt ebenfalls über 1.344 Knoten und 10.752 H100-Beschleuniger. Dank dieser Entwicklung können NVIDIA und Azure ihre Systeme im Vergleich zu den bisherigen Ergebnissen um fast das Dreifache skalieren. Das bedeutet eine enorme Leistungssteigerung und eine drastische Reduzierung der Trainingszeit großer KI-Netzwerke um zwei Drittel.

Besonders bei solch umfangreichen Systemen gewinnt die Netzwerk-Infrastruktur und die Interkonnektivität eine besondere Bedeutung. Bei EOS wird eine Fat Tree Topologie genutzt, um das Netzwerk zu vereinfachen und die Skalierungseffekte optimal zu nutzen.

Auch Google hat erstmals Ergebnisse für die TPU-v5e eingereicht, wobei ein Cluster mit 4.096 TPUs verwendet wurde. Zusätzlich hat Google eine Software-Optimierung vorgenommen, bei der in sieben von acht Schichten des Trainingsprozesses INT8 anstelle von BFloat16 genutzt wird. Dies führt zu einer weiteren Leistungssteigerung.

Ähnliche Schritte wurden auch bei Intel unternommen, wo nun bei den Gaudi2-Beschleunigern mit FP8 gerechnet wird. Dies hat zu einer Verdopplung der Benchmarks im Vergleich zu den vorherigen Ergebnissen geführt. Damit nähert sich Intel dem Konkurrenten NVIDIA an und das Preis-Leistungs-Verhältnis verschiebt sich zugunsten von Intel.

NVIDIA bleibt jedoch weiterhin führend in vielen Datacenter-Anwendungen, insbesondere im Bereich der KI-Anwendungen. Das Unternehmen verfügt über große Kapazitäten bei TSMC für die Fertigung und das Packaging seiner Produkte. Aufgrund der hohen Nachfrage bleiben die Preise jedoch weiterhin auf einem hohen Niveau. Intel tritt hier als kostengünstigere Alternative auf und bietet mit den Gaudi2-Beschleunigern eine attraktive Option für bestimmte Anwendungen.

Es ist jedoch wichtig, bei verschiedenen Anwendungen genau hinzusehen und Unterschiede festzustellen. NVIDIA hat zweifellos einen deutlichen Vorsprung im Bereich KI-Anwendungen, aber je nach spezifischem Anwendungsfall können auch andere Lösungen wie die von Intel von Vorteil sein.

Die kontinuierliche Weiterentwicklung und der Wettbewerb in diesem Bereich sind sehr spannend und versprechen zukünftig noch leistungsfähigere und effizientere Systeme für HPC und Datacenter-Training. Es bleibt spannend, welche neuen Technologien und Möglichkeiten in Zukunft noch entdeckt werden und wie sich der Markt weiterentwickelt.

Schlagwörter: MLCommons + DatacenterTraining + HPC

Wie bewerten Sie den Schreibstil des Artikels?