K\u00fcnstliche neuronale Netzwerke k\u00f6nnten dank aktueller Forschungsergebnisse eine langanhaltende Diskussion beenden. Wissenschaftler haben herausgefunden, dass ein Netzwerk, das mit einer Methode namens Meta-Learning for Compositionality (MLC) trainiert wurde, bessere Ergebnisse bei Tests zur systematischen Generalisierung erzielt als Menschen. Diese bahnbrechende Erkenntnis stammt aus einer Ver\u00f6ffentlichung in der renommierten Zeitschrift Nature.<\/p>\n
Seit mehr als 35 Jahren wird in den Bereichen Kognitionswissenschaft, k\u00fcnstliche Intelligenz, Linguistik und Philosophie dar\u00fcber diskutiert, ob neuronale Netze in der Lage sind, eine menschen\u00e4hnliche systematische Generalisierung zu erreichen. Brenden Lake, Assistenzprofessor am Center for Data Science und Department of Psychology an der Universit\u00e4t New York, kommentiert die Ergebnisse wie folgt: „Zum ersten Mal haben wir gezeigt, dass ein generisches neuronales Netz in direktem Vergleich die systematische Generalisierung des Menschen imitieren oder sogar \u00fcbertreffen kann.“<\/p>\n
Marco Baroni, Mitglied der Forschungsgruppe Computerlinguistik und Sprachtheorie an der Universit\u00e4t Pompeu Fabra in Barcelona, unterstreicht, dass gro\u00dfe Sprachmodelle trotz Fortschritten in den letzten Jahren immer noch Schwierigkeiten mit der systematischen Generalisierung haben. Hier k\u00f6nnte die Anwendung von MLC eine Verbesserung herbeif\u00fchren.<\/p>\n
Bisher hatten Sprachmodelle und neuronale Netze Probleme mit Aufgaben, die ein Kind schnell versteht. Die Forscher veranschaulichen dies anhand eines Beispiels: Wenn ein Kind das H\u00fcpfen lernt, kann es nach einer Weile auch r\u00fcckw\u00e4rts h\u00fcpfen oder \u00fcber einen Kegel springen. Es ist in der Lage, neue Konzepte zu verstehen und sie mit bereits erlernten F\u00e4higkeiten zu kombinieren. Kognitionswissenschaftler wie Jerry A. Fodor und Xenon W. Pylyshyn hatten neuronalen Netzwerken in einem Paper von 1988 diese F\u00e4higkeit abgesprochen und sie als ungeeignete Modelle f\u00fcr das menschliche Denken betrachtet.<\/p>\n
Ein Beispiel f\u00fcr die F\u00e4higkeit eines MLC-Systems ist, ihm ein neues Wort zu geben und es dann aufzufordern, aus diesem Wort neue Wortkombinationen zu bilden, wie zum Beispiel „zweimal springen“ oder „zweimal rechts herumspringen“. Anschlie\u00dfend sollte das MLC-System in der Lage sein, \u00e4hnliche Kompositionen mit anderen W\u00f6rtern zu bilden.<\/p>\n
Lake und Baroni zeigen in ihrer Studie, dass neuronale Netzwerke durch die Optimierung ihrer F\u00e4higkeiten zur Komposition mithilfe von MLC eine Systematik erreichen k\u00f6nnen, die der des Menschen \u00e4hnelt. Das von ihnen trainierte neuronale Netz musste auch die Bedeutung realer W\u00f6rter erlernen und verstehen, wie sie verwendet werden. Nach Angaben der Forscher schnitt das MLC-System bei allen Tests besser ab als die menschlichen Probanden und sogar besser als GPT-4. Es \u00fcbertrifft damit bestehende Ans\u00e4tze und ist dem Menschen mindestens ebenb\u00fcrtig.<\/p>\n
Die Forscher beabsichtigen, mithilfe von MLC neuronale Netze zu trainieren und die F\u00e4higkeit von Systemen wie ChatGPT zu verbessern, systematische Verallgemeinerungen zu generieren. Dieser Ansatz zielt darauf ab, die Verarbeitung von nat\u00fcrlicher Sprache zu optimieren. Zur Schulung der Netzwerke kam eine Grafikkarte vom Typ Nvidia Titan RTX GPU zum Einsatz.<\/p>\n
Schlagw\u00f6rter: MetaLernen f\u00fcr Kompositionalit\u00e4t MLC + Systematische Generalisierung + Verbesserung der Verarbeitung nat\u00fcrlicher Sprache<\/p>\n","protected":false},"excerpt":{"rendered":"
K\u00fcnstliche neuronale Netzwerke k\u00f6nnten dank aktueller Forschungsergebnisse eine langanhaltende Diskussion beenden. Wissenschaftler haben herausgefunden, dass ein Netzwerk, das mit einer Methode namens Meta-Learning for Compositionality (MLC) trainiert wurde, bessere Ergebnisse bei Tests zur systematischen Generalisierung erzielt als Menschen. Diese bahnbrechende Erkenntnis stammt aus einer Ver\u00f6ffentlichung in der renommierten Zeitschrift Nature....<\/p>\n","protected":false},"author":4,"featured_media":808,"comment_status":"","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[],"class_list":["post-809","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-uncategorized"],"_links":{"self":[{"href":"https:\/\/byte-bucket.com\/index.php?rest_route=\/wp\/v2\/posts\/809","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/byte-bucket.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/byte-bucket.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/byte-bucket.com\/index.php?rest_route=\/wp\/v2\/users\/4"}],"replies":[{"embeddable":true,"href":"https:\/\/byte-bucket.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=809"}],"version-history":[{"count":0,"href":"https:\/\/byte-bucket.com\/index.php?rest_route=\/wp\/v2\/posts\/809\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/byte-bucket.com\/index.php?rest_route=\/wp\/v2\/media\/808"}],"wp:attachment":[{"href":"https:\/\/byte-bucket.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=809"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/byte-bucket.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=809"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/byte-bucket.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=809"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}