Österreichisches Start-up NXAI entwickelt leistungsstarkes Sprachmodell: xLSTM übertrifft Transformer

Das österreichische Start-up NXAI hat kürzlich einen wissenschaftlichen Artikel veröffentlicht, in dem es eine innovative Architektur für Sprachmodelle vorstellt. Das Team, angeführt von KI-Pionier Sepp Hochreiter, behauptet, dass ihre Extended-LSTM-Modelle (xLSTM) der bisherigen Transformer-Architektur überlegen sind.

LSTMs (Long Short-Term Memory) sind eine spezielle Art von neuronalen Netzen, die seit den 1990er Jahren entwickelt wurden, um sequenzielle Daten wie Texte zu verarbeiten. Im Gegensatz zu den auf Bilder spezialisierten Deep Convolutional Neural Networks verfügen LSTMs über ein integriertes Kurzzeitgedächtnis. Dadurch können sie frühere Kontexte berücksichtigen, während sie Sätze bilden oder vervollständigen. LSTMs haben einen wesentlichen Beitrag zum Erfolg von Sprachassistenten wie Siri und Alexa sowie zur Verbesserung der maschinellen Übersetzung geleistet.

Trotz dieser Fortschritte blieben die Ergebnisse bei der Sprachverarbeitung noch immer deutlich unterhalb des menschlichen Niveaus in Bezug auf Sprache und Formulierung. Erst mit der Einführung der Transformer-Architektur und ihrem bekanntesten Vertreter ChatGPT wurde ein großer Schritt nach vorne gemacht. Transformer nutzen einen Aufmerksamkeitsmechanismus, um Wörter und Wortteile so zu kodieren, dass oft im Kontext verwendete Begriffe eng miteinander verbunden sind. Dadurch können Transformer sich an deutlich größere Textmengen erinnern und einen weiter entfernten Kontext berücksichtigen.

Das Team von NXAI behauptet nun, dass ihr xLSTM-Modell das leistungsstärkste Large Language Model (LLM) der Welt werden soll. In Zusammenarbeit mit der Johannes-Kepler-Universität Linz und unter Beteiligung von Jürgen Schmidhuber, einem renommierten Lehrbeauftragten, arbeitet NXAI an der Weiterentwicklung des Modells.

Sepp Hochreiter, der Sprecher von NXAI, trat kürzlich beim OMR-Festival auf und diskutierte dort mit Jonas Andrulis von Aleph Alpha über seine Meinung zum KI-Hype. Es bleibt spannend zu beobachten, wie sich die Forschungsarbeiten von NXAI und ihren Partnern weiterentwickeln und welchen Einfluss sie auf die Sprachverarbeitung und KI im Allgemeinen haben werden.

Schlagwörter: Start-ups NXAI + Sepp Hochreiter + Jürgen Schmidhuber

Wie bewerten Sie den Schreibstil des Artikels?