Studie zeigt: Große Sprachmodelle reproduzieren auswendig gelernte Lösungen statt logisches Denken

Eine Untersuchung des Massachusetts Institute of Technology (MIT) und der Universität Boston hat gezeigt, dass große Sprachmodelle dazu neigen, auswendig gelernte Lösungen zu reproduzieren, anstatt tatsächliche Schlussfolgerungen ziehen zu können. Die Studie konzentrierte sich auf die Fähigkeit der Sprachmodelle zum kontrafaktischen Denken, bei dem es um Ereignisse geht, die nicht eingetreten sind. Insgesamt wurden elf Aufgaben entwickelt, bei denen die Modelle Schwierigkeiten hatten, logisches Denken zu beweisen. Beispielsweise konnten sie einen Becher mit Bubble Tea auf dem Kopf nicht darstellen oder einen Schachzug bewerten. Diese Ergebnisse widersprechen den Behauptungen der Anbieter, die ihre Modelle als besonders gut im logischen Denken bewerben. Darüber hinaus waren die Modelle nicht in der Lage, Aufgaben zu lösen, die für Grundschüler einfach sind. Dies wirft Fragen auf, ob die aktuellen Sprachmodelle den Anforderungen einer künstlichen allgemeinen Intelligenz gerecht werden können. Die Grenzen und Einschränkungen dieser Modelle verdeutlichen die Notwendigkeit weiterer Forschung und Entwicklung, um ihre Fähigkeiten zu verbessern. Nur durch ein besseres Verständnis ihrer Stärken und Schwächen können wir die Möglichkeiten und Herausforderungen dieser Technologie besser einschätzen und nutzen.

Schlagwörter: LLMs + MIT + Boston

Wie bewerten Sie den Schreibstil des Artikels?