KI-Netze überlegen Menschen bei Generalisierung, so Nature-Studie

Künstliche neuronale Netzwerke könnten dank aktueller Forschungsergebnisse eine langanhaltende Diskussion beenden. Wissenschaftler haben herausgefunden, dass ein Netzwerk, das mit einer Methode namens Meta-Learning for Compositionality (MLC) trainiert wurde, bessere Ergebnisse bei Tests zur systematischen Generalisierung erzielt als Menschen. Diese bahnbrechende Erkenntnis stammt aus einer Veröffentlichung in der renommierten Zeitschrift Nature.

Seit mehr als 35 Jahren wird in den Bereichen Kognitionswissenschaft, künstliche Intelligenz, Linguistik und Philosophie darüber diskutiert, ob neuronale Netze in der Lage sind, eine menschenähnliche systematische Generalisierung zu erreichen. Brenden Lake, Assistenzprofessor am Center for Data Science und Department of Psychology an der Universität New York, kommentiert die Ergebnisse wie folgt: “Zum ersten Mal haben wir gezeigt, dass ein generisches neuronales Netz in direktem Vergleich die systematische Generalisierung des Menschen imitieren oder sogar übertreffen kann.”

Marco Baroni, Mitglied der Forschungsgruppe Computerlinguistik und Sprachtheorie an der Universität Pompeu Fabra in Barcelona, unterstreicht, dass große Sprachmodelle trotz Fortschritten in den letzten Jahren immer noch Schwierigkeiten mit der systematischen Generalisierung haben. Hier könnte die Anwendung von MLC eine Verbesserung herbeiführen.

Bisher hatten Sprachmodelle und neuronale Netze Probleme mit Aufgaben, die ein Kind schnell versteht. Die Forscher veranschaulichen dies anhand eines Beispiels: Wenn ein Kind das Hüpfen lernt, kann es nach einer Weile auch rückwärts hüpfen oder über einen Kegel springen. Es ist in der Lage, neue Konzepte zu verstehen und sie mit bereits erlernten Fähigkeiten zu kombinieren. Kognitionswissenschaftler wie Jerry A. Fodor und Xenon W. Pylyshyn hatten neuronalen Netzwerken in einem Paper von 1988 diese Fähigkeit abgesprochen und sie als ungeeignete Modelle für das menschliche Denken betrachtet.

Ein Beispiel für die Fähigkeit eines MLC-Systems ist, ihm ein neues Wort zu geben und es dann aufzufordern, aus diesem Wort neue Wortkombinationen zu bilden, wie zum Beispiel “zweimal springen” oder “zweimal rechts herumspringen”. Anschließend sollte das MLC-System in der Lage sein, ähnliche Kompositionen mit anderen Wörtern zu bilden.

Lake und Baroni zeigen in ihrer Studie, dass neuronale Netzwerke durch die Optimierung ihrer Fähigkeiten zur Komposition mithilfe von MLC eine Systematik erreichen können, die der des Menschen ähnelt. Das von ihnen trainierte neuronale Netz musste auch die Bedeutung realer Wörter erlernen und verstehen, wie sie verwendet werden. Nach Angaben der Forscher schnitt das MLC-System bei allen Tests besser ab als die menschlichen Probanden und sogar besser als GPT-4. Es übertrifft damit bestehende Ansätze und ist dem Menschen mindestens ebenbürtig.

Die Forscher beabsichtigen, mithilfe von MLC neuronale Netze zu trainieren und die Fähigkeit von Systemen wie ChatGPT zu verbessern, systematische Verallgemeinerungen zu generieren. Dieser Ansatz zielt darauf ab, die Verarbeitung von natürlicher Sprache zu optimieren. Zur Schulung der Netzwerke kam eine Grafikkarte vom Typ Nvidia Titan RTX GPU zum Einsatz.

Schlagwörter: MetaLernen für Kompositionalität MLC + Systematische Generalisierung + Verbesserung der Verarbeitung natürlicher Sprache

Wie bewerten Sie den Schreibstil des Artikels?