Das Unternehmen Meta, das hinter Facebook steht, hat k\u00fcrzlich drei neue Forschungsprojekte seines Fundamental AI Research (FAIR) Teams vorgestellt. Diese Projekte, Ego-Exo4D, Seamless Communication und Audiobox, sollen die KI-Forschung auf verschiedenen Gebieten vorantreiben.<\/p>\n
Ego-Exo4D ist ein Datensatz und ein Benchmarkset, das die KI-Forschung im Bereich des Video-Lernens und der multimodalen Wahrnehmung unterst\u00fctzen soll. \u00dcber einen Zeitraum von zwei Jahren haben das FAIR-Team von Meta, Project Aria und 15 Universit\u00e4tspartner Material gesammelt. Dieses Material enth\u00e4lt sowohl subjektive Ansichten aus der Kamera einer Person, die die Project Aria-Brille tr\u00e4gt, als auch objektive Ansichten aus den Kameras der Umgebung. Der Fokus des Datensatzes liegt auf anspruchsvollen menschlichen Aktivit\u00e4ten wie Sport, Musik, Kochen, Tanzen und Fahrradreparaturen. Meta sieht potenzielle Einsatzm\u00f6glichkeiten f\u00fcr Ego-Exo4D, insbesondere in Augmented Reality (AR) Systemen. Durch das Tragen einer intelligenten Brille k\u00f6nnte eine Person mit Hilfe eines virtuellen KI-Trainers, der sie durch ein Anleitungsvideo f\u00fchrt, schnell neue F\u00e4higkeiten erwerben. Auch in der Robotik k\u00f6nnte ein Roboter, der Menschen in seiner Umgebung beobachtet, neue Handhabungsfertigkeiten lernen, selbst wenn er nur \u00fcber begrenzte physische Erfahrung verf\u00fcgt. Dar\u00fcber hinaus k\u00f6nnten sich in den Weiten der sozialen Netzwerke neue Gemeinschaften bilden, deren Grundlage das Teilen von Wissen und komplement\u00e4ren F\u00e4higkeiten in Form von Videos ist. Im Dezember wird der Datensatz als Open Source zur Verf\u00fcgung stehen und im n\u00e4chsten Jahr ist ein \u00f6ffentlicher Benchmark-Wettbewerb f\u00fcr Ego-Exo4D geplant.<\/p>\n
Seamless Communication ist ein Projekt, das auf dem multimodalen \u00dcbersetzungsmodell SeamlessM4T aufbaut. Im August wurde SeamlessM4T von Meta vorgestellt und erm\u00f6glicht eine nat\u00fcrlichere und authentischere Kommunikation \u00fcber Sprachgrenzen hinweg. Das Projekt umfasst vier Modelle, darunter SeamlessExpressive, das die Ausdruckskraft und Nuancen der Sprache \u00fcber Sprachgrenzen hinweg bewahrt. SeamlessStreaming erm\u00f6glicht Sprach- und Text\u00fcbersetzungen mit einer Verz\u00f6gerung von etwa zwei Sekunden. SeamlessM4T v2 ist ein mehrsprachiges und multitasking-f\u00e4higes Modell, das m\u00fchelose Kommunikation durch Sprache und Text erm\u00f6glicht. Seamless vereint die F\u00e4higkeiten von SeamlessExpressive, SeamlessStreaming und SeamlessM4T v2 in einem Modell. Meta bietet eine Demo von SeamlessExpressive an, mit der Nutzer ihre Stimme in Echtzeit \u00fcbersetzen lassen k\u00f6nnen.<\/p>\n
Audiobox ist das neue Audiogenerierungsmodell von Meta. Es erm\u00f6glicht die Erstellung von ma\u00dfgeschneiderten Audiodateien f\u00fcr verschiedene Anwendungsbereiche, indem es Spracheingabe und nat\u00fcrlichsprachliche Textprompts kombiniert. Im Vergleich zu seinem Vorg\u00e4nger, Voicebox, bietet Audiobox eine verbesserte Kontrollierbarkeit, da Benutzer nat\u00fcrlichsprachliche Prompts verwenden k\u00f6nnen, um den gew\u00fcnschten Klang oder die gew\u00fcnschte Art von Sprache zu erzeugen. Um den Fortschritt der Forschung zur Audiogenerierung voranzutreiben und eine verantwortungsvolle Entwicklung von k\u00fcnstlicher Intelligenz sicherzustellen, wird das Modell zun\u00e4chst einer spezifischen Gruppe von Forschern und akademischen Einrichtungen zug\u00e4nglich gemacht.<\/p>\n
Mit diesen neuen Forschungsprojekten zeigt Meta einmal mehr sein Engagement f\u00fcr die Weiterentwicklung von KI-Technologien. Die Projekte Ego-Exo4D, Seamless Communication und Audiobox haben das Potenzial, die Art und Weise, wie wir lernen, kommunizieren und Audioinhalte erstellen, zu revolutionieren. Es bleibt abzuwarten, wie sich diese Projekte weiterentwickeln und welche neuen Anwendungsm\u00f6glichkeiten sie in der Zukunft bieten werden.<\/p>\n
Schlagw\u00f6rter: Metas FAIR-Team + Ego-Exo4D + Seamless Communication + SeamlessStreaming + SeamlessM4T v2<\/p>\n","protected":false},"excerpt":{"rendered":"
Das Unternehmen Meta, das hinter Facebook steht, hat k\u00fcrzlich drei neue Forschungsprojekte seines Fundamental AI Research (FAIR) Teams vorgestellt. Diese Projekte, Ego-Exo4D, Seamless Communication und Audiobox, sollen die KI-Forschung auf verschiedenen Gebieten vorantreiben. Ego-Exo4D ist ein Datensatz und ein Benchmarkset, das die KI-Forschung im Bereich des Video-Lernens und der multimodalen...<\/p>\n","protected":false},"author":4,"featured_media":2798,"comment_status":"","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[],"class_list":["post-2799","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-uncategorized"],"_links":{"self":[{"href":"https:\/\/byte-bucket.com\/index.php?rest_route=\/wp\/v2\/posts\/2799","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/byte-bucket.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/byte-bucket.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/byte-bucket.com\/index.php?rest_route=\/wp\/v2\/users\/4"}],"replies":[{"embeddable":true,"href":"https:\/\/byte-bucket.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=2799"}],"version-history":[{"count":0,"href":"https:\/\/byte-bucket.com\/index.php?rest_route=\/wp\/v2\/posts\/2799\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/byte-bucket.com\/index.php?rest_route=\/wp\/v2\/media\/2798"}],"wp:attachment":[{"href":"https:\/\/byte-bucket.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=2799"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/byte-bucket.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=2799"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/byte-bucket.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=2799"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}