Apple hat mit MLX ein Machine-Learning-Framework f\u00fcr seine eigenen Silicon-Chips entwickelt, das insbesondere im Bereich lokaler Large Language Modelle (LLMs) von Bedeutung ist. Anwender, die Werkzeuge wie LM Studio nutzen, sch\u00e4tzen MLX aufgrund seiner Optimierung f\u00fcr Apples M-Serie Prozessoren und die Unified Memory Architektur. Dies erm\u00f6glicht eine effiziente Ausf\u00fchrung von MLX-adaptierten Modellen wie Llama, Qwen oder Mistral auf Macs mit ausgereifter M-Chip-Leistung. Nun zeichnet sich ein m\u00f6glicher Schritt in Richtung breiterer Verbreitung ab: Derzeit wird im Rahmen des GitHub-Projekts hinter MLX an einem CUDA-Backend gearbeitet. Dieses Feature k\u00f6nnte Nvidia-basierte Systeme zuk\u00fcnftig in die Welt von MLX einbeziehen. <\/p>\n
Obwohl das Projekt noch in den Anfangsphasen steckt, birgt es gro\u00dfes Potenzial. Ein erfolgreiches CUDA-Backend w\u00fcrde es erm\u00f6glichen, MLX-optimierte Modelle f\u00fcr die leistungsstarken Nvidia GPUs anzupassen, beispielsweise im Trainingsprozess. Der Vorteil: CUDA verf\u00fcgt \u00fcber eine weitreichende Community und eine etablierte Infrastruktur, was MLX-Modelle potenziell schneller verbreiten k\u00f6nnte. Der Fokus von MLX liegt aktuell auf Apples Metal-GPU-Schnittstelle, die f\u00fcr dessen Silicon-Chips optimiert ist. Die Implementierung eines CUDA-Backends w\u00fcrde einen Wechsel zu NVIDIAs Compute Unified Device Architecture (CUDA) bedeuten. <\/p>\n
Der Hauptentwickler hinter diesem Vorhaben, mit dem Nutzernamen zcbenz, der hauptberuflich in Japan t\u00e4tig ist, gibt an, dass Apple Teile der Entwicklung finanziert. Zwei zentrale Gr\u00fcnde treiben die Entwicklung des CUDA-Backends an. Zum einen unterst\u00fctzt CUDA Unified Memory, eine Technologie, die effizientes Datenmanagement zwischen CPU und GPU erm\u00f6glicht, \u00e4hnlich wie bei Apples Unified Memory. Zum anderen ist Nvidia-Hardware in wissenschaftlichen Bereichen und auf gro\u00dfen Rechenclustern weit verbreitet. Ein CUDA-Backend w\u00fcrde Entwicklern die M\u00f6glichkeit bieten, Code lokal auf ihren Macs zu schreiben und zu testen und ihn anschlie\u00dfend auf Supercomputern mit Nvidia GPUs auszuf\u00fchren, was eine optimierte Entwicklererfahrung erm\u00f6glicht. <\/p>\n
Obwohl das Projekt erst im Fr\u00fchjahr startete und aktuell noch nicht offiziell ver\u00f6ffentlicht ist, verspricht zcbenz, weitere Informationen bereitzustellen, sobald das CUDA-Backend in einem stabileren Entwicklungsstadium ist.<\/p>\n
Schlagw\u00f6rter: MLX + Apples + CUDA
(pz)<\/p>\n","protected":false},"excerpt":{"rendered":"
Apple hat mit MLX ein Machine-Learning-Framework f\u00fcr seine eigenen Silicon-Chips entwickelt, das insbesondere im Bereich lokaler Large Language Modelle (LLMs) von Bedeutung ist. Anwender, die Werkzeuge wie LM Studio nutzen, sch\u00e4tzen MLX aufgrund seiner Optimierung f\u00fcr Apples M-Serie Prozessoren und die Unified Memory Architektur. Dies erm\u00f6glicht eine effiziente Ausf\u00fchrung von...<\/p>\n","protected":false},"author":6,"featured_media":13774,"comment_status":"closed","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[],"class_list":["post-13775","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-uncategorized"],"_links":{"self":[{"href":"https:\/\/byte-bucket.com\/index.php?rest_route=\/wp\/v2\/posts\/13775","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/byte-bucket.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/byte-bucket.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/byte-bucket.com\/index.php?rest_route=\/wp\/v2\/users\/6"}],"replies":[{"embeddable":true,"href":"https:\/\/byte-bucket.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=13775"}],"version-history":[{"count":2,"href":"https:\/\/byte-bucket.com\/index.php?rest_route=\/wp\/v2\/posts\/13775\/revisions"}],"predecessor-version":[{"id":13808,"href":"https:\/\/byte-bucket.com\/index.php?rest_route=\/wp\/v2\/posts\/13775\/revisions\/13808"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/byte-bucket.com\/index.php?rest_route=\/wp\/v2\/media\/13774"}],"wp:attachment":[{"href":"https:\/\/byte-bucket.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=13775"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/byte-bucket.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=13775"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/byte-bucket.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=13775"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}