Forscher der University of Washington haben eine KI namens Audeo entwickelt, die realistische Musik reproduzieren kann, indem sie einfach stille Klaviervideos analysiert.
Jetzt kann sogar künstliche Intelligenz jeden Klang eines Klaviers auf realistische Weise digital reproduzieren, indem sie einfach ein stilles Video analysiert.
Ein Forscherteam der University of Washington hat die künstliche Intelligenz namens Audeo entwickelt, die eine Art intelligente Software enthält, die zuvor mit 172.000 Videobildern des Pianisten Paul Barton trainiert wurde, der Musik von klassischen Komponisten wie Mozart oder Bach spielt.
Audeo AI kann virtuell Klavier spielen
Durch einfaches Analysieren eines stillen Videos kann Audeo AI sorgfältig lernen, welche Tasten gedrückt werden und in welcher Reihenfolge. Auf diese Weise werden die einzelnen Noten und deren Anordnung bestimmt. Es ist auch in der Lage zu erkennen, wie hart jede der Tasten gespielt wird und wie lange sie gedrückt gehalten werden. Auf diese Weise kann die Intensität jeder Note berechnet werden und wie lange sie unter dem Klang der anschließend gespielten Noten verweilt. Als ob das nicht genug wäre, kann die KI auch die charakteristischen akustischen Eigenschaften von Klavieren verstehen.
Diese Daten werden in ein Format konvertiert, das von einem digitalen Synthesizer verstanden werden kann. Wenn dieser Synthesizer die Musikdatei abspielt, kommt er dem ursprünglichen Klaviersound sehr nahe.
In einem seiner erstaunlichen Tests konnte die Audeo AI ein Lied durch stille Videos des Komponisten Barton lernen, während er unverwechselbare Musikstücke spielte.
Dann analysierten Musikerkennungsanwendungen wie SoundHound solche Produktionen, die von der künstlichen Intelligenz ausgeführt wurden, und konnten das Musikstück mit einer Genauigkeit von etwa 86% erkennen. Zum Vergleich: Als diese Anwendung das ursprüngliche Piano-Audio analysierte, stieg die Erkennungsgenauigkeit auf 93%.
