Das \u00f6sterreichische Start-up NXAI hat k\u00fcrzlich einen wissenschaftlichen Artikel ver\u00f6ffentlicht, in dem es eine innovative Architektur f\u00fcr Sprachmodelle vorstellt. Das Team, angef\u00fchrt von KI-Pionier Sepp Hochreiter, behauptet, dass ihre Extended-LSTM-Modelle (xLSTM) der bisherigen Transformer-Architektur \u00fcberlegen sind.<\/p>\n
LSTMs (Long Short-Term Memory) sind eine spezielle Art von neuronalen Netzen, die seit den 1990er Jahren entwickelt wurden, um sequenzielle Daten wie Texte zu verarbeiten. Im Gegensatz zu den auf Bilder spezialisierten Deep Convolutional Neural Networks verf\u00fcgen LSTMs \u00fcber ein integriertes Kurzzeitged\u00e4chtnis. Dadurch k\u00f6nnen sie fr\u00fchere Kontexte ber\u00fccksichtigen, w\u00e4hrend sie S\u00e4tze bilden oder vervollst\u00e4ndigen. LSTMs haben einen wesentlichen Beitrag zum Erfolg von Sprachassistenten wie Siri und Alexa sowie zur Verbesserung der maschinellen \u00dcbersetzung geleistet.<\/p>\n
Trotz dieser Fortschritte blieben die Ergebnisse bei der Sprachverarbeitung noch immer deutlich unterhalb des menschlichen Niveaus in Bezug auf Sprache und Formulierung. Erst mit der Einf\u00fchrung der Transformer-Architektur und ihrem bekanntesten Vertreter ChatGPT wurde ein gro\u00dfer Schritt nach vorne gemacht. Transformer nutzen einen Aufmerksamkeitsmechanismus, um W\u00f6rter und Wortteile so zu kodieren, dass oft im Kontext verwendete Begriffe eng miteinander verbunden sind. Dadurch k\u00f6nnen Transformer sich an deutlich gr\u00f6\u00dfere Textmengen erinnern und einen weiter entfernten Kontext ber\u00fccksichtigen.<\/p>\n
Das Team von NXAI behauptet nun, dass ihr xLSTM-Modell das leistungsst\u00e4rkste Large Language Model (LLM) der Welt werden soll. In Zusammenarbeit mit der Johannes-Kepler-Universit\u00e4t Linz und unter Beteiligung von J\u00fcrgen Schmidhuber, einem renommierten Lehrbeauftragten, arbeitet NXAI an der Weiterentwicklung des Modells.<\/p>\n
Sepp Hochreiter, der Sprecher von NXAI, trat k\u00fcrzlich beim OMR-Festival auf und diskutierte dort mit Jonas Andrulis von Aleph Alpha \u00fcber seine Meinung zum KI-Hype. Es bleibt spannend zu beobachten, wie sich die Forschungsarbeiten von NXAI und ihren Partnern weiterentwickeln und welchen Einfluss sie auf die Sprachverarbeitung und KI im Allgemeinen haben werden.<\/p>\n
Schlagw\u00f6rter: Start-ups NXAI + Sepp Hochreiter + J\u00fcrgen Schmidhuber<\/p>\n","protected":false},"excerpt":{"rendered":"
Das \u00f6sterreichische Start-up NXAI hat k\u00fcrzlich einen wissenschaftlichen Artikel ver\u00f6ffentlicht, in dem es eine innovative Architektur f\u00fcr Sprachmodelle vorstellt. Das Team, angef\u00fchrt von KI-Pionier Sepp Hochreiter, behauptet, dass ihre Extended-LSTM-Modelle (xLSTM) der bisherigen Transformer-Architektur \u00fcberlegen sind. LSTMs (Long Short-Term Memory) sind eine spezielle Art von neuronalen Netzen, die seit den...<\/p>\n","protected":false},"author":4,"featured_media":7510,"comment_status":"","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[],"class_list":["post-7511","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-uncategorized"],"_links":{"self":[{"href":"https:\/\/byte-bucket.com\/index.php?rest_route=\/wp\/v2\/posts\/7511","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/byte-bucket.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/byte-bucket.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/byte-bucket.com\/index.php?rest_route=\/wp\/v2\/users\/4"}],"replies":[{"embeddable":true,"href":"https:\/\/byte-bucket.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=7511"}],"version-history":[{"count":0,"href":"https:\/\/byte-bucket.com\/index.php?rest_route=\/wp\/v2\/posts\/7511\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/byte-bucket.com\/index.php?rest_route=\/wp\/v2\/media\/7510"}],"wp:attachment":[{"href":"https:\/\/byte-bucket.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=7511"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/byte-bucket.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=7511"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/byte-bucket.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=7511"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}