ByteDance führt sein neues Audio- und Videogenerierungsmodell Dreamina Seedance 2.0 auf seiner Bearbeitungsplattform CapCut ein.
Diese Bereitstellung positioniert ByteDance als wichtigen Akteur auf dem Markt für KI-Videogenerierung, nachdem OpenAI beschlossen hat, seine Bemühungen um die Sora-App zurückzufahren.
Laut ByteDance ermöglicht das Modell den Erstellern, Video- und Audioinhalte mithilfe von Eingabeaufforderungen, Bildern oder Referenzvideos zu entwerfen, zu bearbeiten und zu synchronisieren.
Der Rollout richtet sich zunächst an CapCut-Benutzer in Brasilien, Indonesien, Malaysia, Mexiko, den Philippinen, Thailand und Vietnam. ByteDance gab an, dass nach und nach weitere Märkte hinzugefügt werden.
Das Unternehmen war zuvor mit Bedenken bezüglich des geistigen Eigentums des Modells konfrontiert, was Berichten zufolge zu einer Pause bei der weltweiten Einführung und zu Kritik aus Hollywood wegen angeblicher Urheberrechtsverletzungen führte. Dies könnte die begrenzte anfängliche Marktverfügbarkeit erklären.
In China ist Dreamina Seedance 2.0 in der Jianying-App von ByteDance verfügbar.
Das Videogenerierungsmodell kann ohne Referenzbilder funktionieren, sodass Ersteller Szenen mit wenigen Worten beschreiben können, gab ByteDance bekannt.
CapCut kann realistische Texturen, Bewegungen und Beleuchtung aus verschiedenen visuellen Perspektiven und Winkeln für das Modell rendern. Das Unternehmen stellte fest, dass diese Funktion vorhandenes Filmmaterial des Erstellers verbessern oder korrigieren könnte.
Nutzer können Content-Ideen auch auf der Grundlage früher Konzepte oder Skizzen testen, bevor sie filmen, so das Unternehmen.
Dreamina Seedance 2.0 unterstützt Inhaltstypen wie Kochrezepte, Fitness-Tutorials, Geschäftsübersichten und aktionsorientierte Videos, Bereiche, in denen KI-Videomodelle zuvor auf Herausforderungen stießen, erklärte ByteDance.
Zum Start unterstützt das Modell Videoclips mit einer Länge von bis zu 15 Sekunden in sechs Seitenverhältnissen.
Die Integration in CapCut umfasst Funktionen wie AI Video und Generierungstools wie Video Studio. Das Modell wird auch auf ByteDances KI-Generierungsplattform Dreamina und seine Marketingplattform Pippit ausgeweitet.
ByteDance hat Sicherheitsbeschränkungen implementiert, um zu verhindern, dass das Modell aufgrund seiner realistischen Inhaltsgenerierungsfunktionen Videos aus Bildern oder Videos mit echten Gesichtern generiert. CapCut blockiert auch die unbefugte Generierung von geistigem Eigentum.
Von Dreamina Seedance 2.0 erstellte Inhalte enthalten ein unsichtbares Wasserzeichen, um KI-generiertes Material zu identifizieren, wenn es außerhalb der Plattform geteilt wird. Diese Funktion könnte dabei helfen, Deaktivierungsanfragen von Rechteinhabern zu bearbeiten, fügte ByteDance hinzu.
ByteDance plant, während des Rollouts mit Experten und kreativen Communities zusammenzuarbeiten, um die Fähigkeiten des Modells iterativ zu verbessern.
