Meta, das Unternehmen hinter Facebook, hat k\u00fcrzlich in seinem Engineering-Blog einen Blick hinter die Kulissen gew\u00e4hrt. Und zwar ging es um ihre KI-Cluster-Infrastruktur. Ja, du hast richtig geh\u00f6rt, KI-Cluster-Infrastruktur. Klingt nach etwas, das von einem Science-Fiction-Film stammen k\u00f6nnte, oder?<\/p>\n
Nun, Meta setzt K\u00fcnstliche Intelligenz in so ziemlich allem ein, was sie tun. Ihr Ziel ist es, eine allgemeine KI zu entwickeln, die in der Lage ist, in allen m\u00f6glichen Bereichen zu arbeiten. Keine Einschr\u00e4nkungen mehr f\u00fcr die KI! Sie soll nicht nur Katzenbilder erkennen k\u00f6nnen, sondern auch komplizierte mathematische Probleme l\u00f6sen und vielleicht sogar ein paar gute Witze erz\u00e4hlen k\u00f6nnen. Hey, man kann ja tr\u00e4umen, oder?<\/p>\n
Um ihre KI-Systeme zu trainieren, nutzt Meta riesige Cluster mit insgesamt 24.576 H100-Beschleunigern von NVIDIA. Das ist schon eine beeindruckende Menge an Rechenkraft. Zum Vergleich: Der neunt-schnellste Supercomputer der Welt hat gerade mal 4.096 Beschleuniger. Meta hat also definitiv die Nase vorn.<\/p>\n
Momentan arbeiten sie daran, ihr n\u00e4chstes KI-Modell namens Llama 3 zu trainieren. Und dabei wird deutlich, wie wichtig die Verbindungen zwischen den Clustern sind. Sie nutzen Remote Direct Memory Access (RDMA) \u00fcber Ethernet und InfiniBand mit einer Geschwindigkeit von 400 GBit\/s. Klingt nach einem Wettrennen im Internet, bei dem die Datenpakete um die Wette flitzen.<\/p>\n
Eine der gr\u00f6\u00dften Herausforderungen beim Skalieren solcher Cluster ist es, die vielen Beschleuniger zu integrieren. Das ist so, als ob man versucht, eine ganze Herde Alpakas in einen Aufzug zu quetschen. Nicht leicht, aber Meta hat es geschafft. Sie haben sogar eine konstante Auslastung von 90 % erreicht. Das ist beeindruckend! Kein Leerlauf mehr f\u00fcr die Beschleuniger, sie werden ordentlich gefordert.<\/p>\n
F\u00fcr das Jahr 2024 plant Meta, satte 350.000 H100-Beschleuniger einzusetzen. Das sind so viele, dass man denken k\u00f6nnte, sie wollen die menschliche Rasse mit einer Armee von KI-gepowerten Robotern unterwerfen. Aber nein, es geht nur darum, ihre KI noch m\u00e4chtiger zu machen. Hoffentlich haben sie einen Plan f\u00fcr den Fall, dass die Beschleuniger die Macht an sich rei\u00dfen wollen. Denn wer wei\u00df, was diese kleinen Rechenk\u00fcnstler so alles anstellen k\u00f6nnten.<\/p>\n
Nun, wir k\u00f6nnen gespannt sein, wie sich Meta’s KI-Cluster-Abenteuer weiterentwickelt. Vielleicht werden wir in ein paar Jahren von einer KI regiert, die ihre eigenen Facebook-Posts verfasst und s\u00fc\u00dfe Katzenbilder teilt. Oder vielleicht haben wir einfach nur einen weiteren Grund, um uns \u00fcber unsere Beschleuniger-Abh\u00e4ngigkeit Gedanken zu machen.<\/p>\n
Schlagw\u00f6rter: Meta + NVIDIAs Quantum2 InfiniBand + RoCE<\/p>\n","protected":false},"excerpt":{"rendered":"
Meta, das Unternehmen hinter Facebook, hat k\u00fcrzlich in seinem Engineering-Blog einen Blick hinter die Kulissen gew\u00e4hrt. Und zwar ging es um ihre KI-Cluster-Infrastruktur. Ja, du hast richtig geh\u00f6rt, KI-Cluster-Infrastruktur. Klingt nach etwas, das von einem Science-Fiction-Film stammen k\u00f6nnte, oder? Nun, Meta setzt K\u00fcnstliche Intelligenz in so ziemlich allem ein, was...<\/p>\n","protected":false},"author":4,"featured_media":5552,"comment_status":"","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[],"class_list":["post-5553","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-uncategorized"],"_links":{"self":[{"href":"https:\/\/byte-bucket.com\/index.php?rest_route=\/wp\/v2\/posts\/5553","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/byte-bucket.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/byte-bucket.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/byte-bucket.com\/index.php?rest_route=\/wp\/v2\/users\/4"}],"replies":[{"embeddable":true,"href":"https:\/\/byte-bucket.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=5553"}],"version-history":[{"count":0,"href":"https:\/\/byte-bucket.com\/index.php?rest_route=\/wp\/v2\/posts\/5553\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/byte-bucket.com\/index.php?rest_route=\/wp\/v2\/media\/5552"}],"wp:attachment":[{"href":"https:\/\/byte-bucket.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=5553"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/byte-bucket.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=5553"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/byte-bucket.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=5553"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}