Apple entwickelt MLX-Framework für Machine Learning und plant CUDA-Backend für Nvidia
Apple hat mit MLX ein Machine-Learning-Framework für seine eigenen Silicon-Chips entwickelt, das insbesondere im Bereich lokaler Large Language Modelle (LLMs) von Bedeutung ist. Anwender, die Werkzeuge wie LM Studio nutzen, schätzen MLX aufgrund seiner Optimierung für Apples M-Serie Prozessoren und die Unified Memory Architektur. Dies ermöglicht eine effiziente Ausführung von MLX-adaptierten Modellen wie Llama, Qwen oder Mistral auf Macs mit ausgereifter M-Chip-Leistung. Nun zeichnet sich ein möglicher Schritt in Richtung breiterer Verbreitung ab: Derzeit wird im Rahmen des GitHub-Projekts hinter MLX an einem CUDA-Backend gearbeitet. Dieses Feature könnte Nvidia-basierte Systeme zukünftig in die Welt von MLX einbeziehen.
Obwohl das Projekt noch in den Anfangsphasen steckt, birgt es großes Potenzial. Ein erfolgreiches CUDA-Backend würde es ermöglichen, MLX-optimierte Modelle für die leistungsstarken Nvidia GPUs anzupassen, beispielsweise im Trainingsprozess. Der Vorteil: CUDA verfügt über eine weitreichende Community und eine etablierte Infrastruktur, was MLX-Modelle potenziell schneller verbreiten könnte. Der Fokus von MLX liegt aktuell auf Apples Metal-GPU-Schnittstelle, die für dessen Silicon-Chips optimiert ist. Die Implementierung eines CUDA-Backends würde einen Wechsel zu NVIDIAs Compute Unified Device Architecture (CUDA) bedeuten.
Der Hauptentwickler hinter diesem Vorhaben, mit dem Nutzernamen zcbenz, der hauptberuflich in Japan tätig ist, gibt an, dass Apple Teile der Entwicklung finanziert. Zwei zentrale Gründe treiben die Entwicklung des CUDA-Backends an. Zum einen unterstützt CUDA Unified Memory, eine Technologie, die effizientes Datenmanagement zwischen CPU und GPU ermöglicht, ähnlich wie bei Apples Unified Memory. Zum anderen ist Nvidia-Hardware in wissenschaftlichen Bereichen und auf großen Rechenclustern weit verbreitet. Ein CUDA-Backend würde Entwicklern die Möglichkeit bieten, Code lokal auf ihren Macs zu schreiben und zu testen und ihn anschließend auf Supercomputern mit Nvidia GPUs auszuführen, was eine optimierte Entwicklererfahrung ermöglicht.
Obwohl das Projekt erst im Frühjahr startete und aktuell noch nicht offiziell veröffentlicht ist, verspricht zcbenz, weitere Informationen bereitzustellen, sobald das CUDA-Backend in einem stabileren Entwicklungsstadium ist.
Schlagwörter: MLX + Apples + CUDA
(pz)
