Im vergangenen Dezember hat Google Fotos eine großartige neue Funktion hinzugefügt: Kinofotos. Sie können automatisch aus der Anwendung generiert werden, indem Sie auf den Abschnitt “Letzte Highlights” klicken.
Wie funktionieren Filmfotos in Google Fotos?
Von dem Google Blog Sie wollten erklären, wie sie es schaffen, den Fotos Bewegung zu verleihen, damit sie einen so auffälligen 3D-Effekt haben. Wie immer nutzen sie ihre neuronalen Netze und ihre Rechenkompetenz.
Laut Google möchten Kinofotos versuchen, den Nutzer dazu zu bringen, „das immersive Gefühl des Augenblicks, in dem er das Foto aufgenommen hat“, neu zu erleben, indem sowohl die Bewegung der Kamera als auch die 3D-Parallaxe simuliert werden. Wie verwandeln sie ein 2D-Bild in ein 3D-Bild?
Google verwendet seine neuronalen Netze, die auf mit Pixel 4s aufgenommenen Fotos trainiert wurden, um die Schärfentiefe mit einem einzelnen RGB-Bild abzuschätzen
Google erklärt, dass Filmfotos genau wie im Porträtmodus oder in der erweiterten Realität eine Tiefenkarte benötigen, um Informationen über die 3D-Struktur zu erhalten. Um diesen Effekt bei jedem Mobiltelefon ohne Doppelkamera zu erzielen, haben sie ein neuronales Faltungsnetzwerk trainiert, um eine Tiefenkarte aus einem einzelnen RGB-Bild vorherzusagen.
Mit nur einem Blickwinkel (der Ebene des Fotos) kann die Tiefe des Fotos mit monokularen Hinweisen wie der relativen Größe von Objekten, der Perspektive des Fotos, Unschärfe usw. geschätzt werden. Um diese Informationen zu vervollständigen, verwenden sie Daten, die mit der Kamera des Pixel 4 gesammelt wurden, um sie mit anderen Fotos zu kombinieren, die das Google-Team mit professionellen Kameras aufgenommen hat.
Die Technik ähnelt der des Pixelporträtmodus: Das Bild wird analysiert, segmentiert und sobald der Hintergrund erfolgreich isoliert wurde, wird die Bewegung durch Verschieben des Hintergrunds simuliert. Dies ist recht komplex, da mehrere Korrekturen und Analysen auf dem Foto erforderlich sind, da einige falsch interpretierte Pixel das Endergebnis ruinieren können.
