Google entwickelt Framework „Vlogger“ zur Erstellung beeindruckender Videos mit einem Bild und Audioaufnahme

Google hat ein neues Framework namens Vlogger entwickelt, das es Forschern ermöglicht, beeindruckende Videos zu erstellen, indem sie lediglich ein einzelnes Bild und eine Audioaufnahme verwenden. Vlogger nutzt fortschrittliche KI-Technologien, um realistische Videos zu generieren. Das Framework basiert auf früheren generativen Diffusionsmodellen wie der von OpenAI entwickelten KI Sora. Sora war bereits in der Lage, anhand einer Sprachanweisung ein nahezu fotorealistisches Video zu erstellen. Vlogger erweitert diese Fähigkeiten und ermöglicht unter anderem die Übersetzung von Videoaufnahmen in verschiedene Sprachen.

Im Herbst 2023 wurde Hey Gen eingeführt, eine KI, die Videos in verschiedene Sprachen übersetzen kann. Dadurch können Menschen weltweit nun mehrsprachige Videos in ihrer bevorzugten Sprache genießen. Vlogger nutzt diese Übersetzungsfunktion und bietet somit eine noch breitere Palette an Möglichkeiten.

Das Forschungsteam unter der Leitung von Enric Corona von der Universitat Politcnica de Catalunya hat eine Methode entwickelt, die im Vergleich zu früheren Arbeiten erweiterte Fähigkeiten aufweisen soll. Mit einem zweistufigen Prozess können realistische Sprechvideos generiert werden. In der ersten Phase analysiert die KI die Audioaufnahme und erzeugt passende Körperbewegungen, die mit dem Standbild synchronisiert sind. In der zweiten Phase wird das Ergebnis mit einem Bild-zu-Bild-Modell in Einzelbilder umgewandelt, wodurch ein realistisches Video entsteht, das die generierten Körperbewegungen enthält.

Die Forscher sind zuversichtlich, dass Vlogger eine Vielzahl von Anwendungsmöglichkeiten bieten kann, von der Filmindustrie bis hin zur Unterhaltungsbranche. Die Fähigkeit, hochwertige Videos aus einem einzigen Bild und einer Audioaufnahme zu erstellen, könnte eine Revolution in der Erstellung und dem Konsum von Videos darstellen.

Google hat das Framework Vlogger als Open-Source veröffentlicht, um die weitere Forschung und Entwicklung in diesem Bereich zu fördern. Es wird erwartet, dass Vlogger in den kommenden Jahren weiter verbessert und verfeinert wird, um noch mehr Möglichkeiten für die Erstellung von hochwertigen Videos zu bieten.

Schlagwörter: Vlogger + Google + OpenAI

Wie bewerten Sie den Schreibstil des Artikels?