KI-Update: Trillion Parameter Consortium und neue Entwicklungen in KI-Forschung

In einem Podcast stellt The Decoder das KI-Update vor, das die wichtigsten Neuigkeiten im Bereich der Künstlichen Intelligenz kompakt präsentiert. Eine bedeutende Entwicklung in diesem Bereich ist das Trillion Parameter Consortium (TPC), eine globale Allianz von Wissenschaftlern, Forschungsinstituten und Industriepartnern. Das Konsortium hat es sich zum Ziel gesetzt, wissenschaftliche KI-Modelle zu unterstützen, insbesondere solche mit einer Billion Parametern.

Eine Billion Parameter? Klingt nach einer Menge, oder? Aber was bedeutet das eigentlich? Vereinfacht gesagt, sind Parameter die Bausteine, aus denen KI-Modelle bestehen. Je mehr Parameter ein Modell hat, desto komplexer und leistungsfähiger kann es sein. Mit einer Billion Parametern erreichen wir einen neuen Meilenstein in der KI-Forschung und ermöglichen noch fortschrittlichere Modelle.

Das TPC konzentriert sich auf verschiedene Herausforderungen, die mit solch großen Modellen einhergehen. Dazu gehören die Entwicklung skalierbarer Modellarchitekturen, Trainingsstrategien, die Organisation und Kuratierung wissenschaftlicher Daten, die Optimierung von KI-Bibliotheken für Exascale-Computing-Plattformen sowie die Entwicklung von Evaluierungsplattformen. Das Konsortium strebt die Schaffung einer offenen Forschergemeinschaft an, in der gemeinsame Projekte initiiert werden, um Methoden, Tools, Ressourcen und Erkenntnisse miteinander zu teilen.

Um das Training der Modelle zu ermöglichen, stellen mehrere National Laboratories des US Department of Energy sowie verschiedene TPC-Gründungspartner in Japan, Europa, Deutschland und anderen Ländern Exascale-Computing-Ressourcen zur Verfügung. Exascale-Computing? Das klingt nach einer Menge Power, oder? Exascale bezieht sich auf Computer, die in der Lage sind, eine Quintillion (10^18) Operationen pro Sekunde durchzuführen. Das ist eine unglaubliche Rechenleistung, die benötigt wird, um Modelle mit einer Billion Parametern zu trainieren.

Derzeit markieren Modelle mit einer Billion Parametern die Grenze des Machbaren im Bereich der KI-Modelle. Nur die größten kommerziellen KI-Systeme wie das erste GPT-4-Modell erreichen diese beeindruckende Größenordnung. Obwohl die ersten Trainingsexperimente bereits gestartet sind, wird es noch einige Wochen oder Monate dauern, bis das Training in vollem Umfang beginnt.

Aber es gibt nicht nur Modelle mit einer Billion Parametern, die unsere Aufmerksamkeit verdienen. Ein bemerkenswertes KI-Modell, das von DeepMind, einem Unternehmen von Google, entwickelt wurde, ist Lyria. Lyria ist speziell für die Generierung von Musik konzipiert und soll den kreativen Prozess von Musikern und Künstlern bereichern. Das Modell ist in der Lage, hochwertige Musik in verschiedenen Genres wie Heavy Metal und Oper zu erzeugen und komplexe Rhythmen, Melodien und Gesangsstimmen beizubehalten. Das ist definitiv ein beeindruckender Fortschritt in der KI-Musikgenerierung.

Aber nicht nur für Musiker gibt es spannende Entwicklungen. DeepMind und YouTube haben gemeinsam zwei KI-Experimente gestartet: Dream Track und Music AI Tools. Dream Track ist ein Experiment auf YouTube Shorts, bei dem die Nutzer die Möglichkeit haben, ein Thema und einen Künstler auszuwählen, um einen 30-sekündigen Soundtrack für einen Kurzfilm zu erstellen. Music AI Tools sind Werkzeuge, die auf künstlicher Intelligenz basieren und Musiker unterstützen, indem sie die Transformation von Musikstilen oder Instrumenten ermöglichen, instrumentale und vokale Begleitungen erstellen und neue Musik oder Instrumentalpassagen von Grund auf generieren. Das ist doch mal eine kreative Art, KI einzusetzen!

Aber Google DeepMind hat noch mehr zu bieten. Sie haben auch Mirasol vorgestellt, ein KI-Modell, das in der Lage ist, Fragen zu Videos zu beantworten. Mirasol verarbeitet Video- und Audiosignale sowie kontextbezogenen Text in separaten neuronalen Netzwerken. Das KI-Modul Combiner zerlegt das Video mit Audiospur in separate Segmente und komprimiert sie. Im Vergleich zu anderen multimodalen Modellen ist Mirasol in der Lage, längere Videoabschnitte zu verstehen, obwohl es nur etwa drei Milliarden Parameter hat. Bei Tests erzielte Mirasol neue Bestwerte bei Video-Question-Answering-Benchmarks. In Zukunft könnten Modelle wie Mirasol dazu beitragen, Chatbots wie den kürzlich präsentierten KI-Assistenten für YouTube dabei zu unterstützen, Fragen zu Videos zu beantworten oder Funktionen wie die automatische Kategorisierung und Kapitelmarkierung von Videos zu optimieren.

Neben den spannenden Entwicklungen von Google gibt es auch Neuigkeiten von Microsoft. Auf der Ignite-Messe hat Microsoft seinen eigenen ARM-Prozessor und KI-Beschleuniger für die Azure-Cloud vorgestellt. Die ARM-CPU Microsoft Azure Cobalt 100 und der KI-Prozessor Microsoft Azure Maia 100 werden ab dem kommenden Jahr verwendet. Microsoft plant zunächst, die Chips für seine eigenen Dienste zu nutzen und sie vorerst nicht als Grundlage für mietbare Cloud-Instanzen anzubieten. Sie können jedoch auch für die OpenAI-Dienste genutzt werden. Der Maia-Prozessor ist sowohl für das Training von Künstlicher Intelligenz als auch für Inferencing geeignet. Das bedeutet, dass er sowohl für das Lernen als auch für das Anwenden von KI-Modellen genutzt werden kann.

Auf der Ignite-Konferenz präsentierte Microsoft eine Vielzahl neuer Anwendungen und Funktionen für seinen KI-Assistenten Copilot und änderte zudem den Namen des Bing Chats. CEO Satya Nadella betonte die Wichtigkeit von Copilot und gab bekannt, dass Bing Chat nun in Copilot umbenannt wird. Der Chatbot in Microsofts Suchmaschine ist ab sofort unter der neuen Domain copilot.microsoft.com verfügbar. Dank Microsofts Copilot Studio besteht die Möglichkeit, Low-Code-Tools zu erstellen und diese im OpenAI GPT-Store anzubieten. Der Copilot wird auch in verschiedene Anwendungen im Unternehmensbereich integriert. Entwickler können in einer geschützten Umgebung des Azure AI Studios arbeiten. Zusätzlich zur Rundum-Versicherung für Copilot-Nutzer wird eine neue Dokumentationsfunktion eingeführt, die einen zusätzlichen Schutz bei Copyright-Klagen bietet. Das sind aufregende Neuigkeiten für Entwickler und Unternehmen, die von den Möglichkeiten von KI profitieren möchten.

Und zu guter Letzt gibt es noch eine interessante Entwicklung im Gesundheitssektor. Das neu entstehende Forschungszentrum CAIMed in Niedersachsen hat das Ziel, die Gesundheitsversorgung durch den Einsatz von künstlicher Intelligenz und kausalen Methoden in der Medizin zu revolutionieren. Das ist ein ehrgeiziges Vorhaben, das mit 15 Millionen Euro aus dem zukunft-niedersachsen Programm vom Ministerium für Wissenschaft und Kultur sowie der Volkswagenstiftung unterstützt wird. Informatik- und Medizinforscher arbeiten daran, KI-Methoden und -Anwendungen zu entwickeln, die potenziell neue Präventions- und Therapiemöglichkeiten für Krankheiten wie Krebs, Herz-Kreislauf-Erkrankungen, Diabetes und Alzheimer ermöglichen könnten. Das ist ein vielversprechender Ansatz, um die Gesundheitsversorgung zu verbessern und Menschen weltweit zu helfen.

Das waren einige der neuesten Entwicklungen im Bereich der Künstlichen Intelligenz. Es ist erstaunlich zu sehen, wie sich diese Technologie weiterentwickelt und immer mehr Bereiche unseres Lebens beeinflusst. Von Musikgenerierung über Videoanalyse bis hin zur Gesundheitsversorgung – KI hat das Potenzial, unsere Welt zu verändern. Es wird spannend sein zu sehen, welche weiteren Innovationen in Zukunft auf uns warten.

Schlagwörter: Trillion Parameter Consortium TPC + Lyria KIModell zur Musikgenerierung + CAIMed Forschungszentrum für KI in der Medizin

Wie bewerten Sie den Schreibstil des Artikels?