Ein Team von Apple-Forschern hat ein neues Framework für hochauflösendes 3D-Szenen-Rendering entwickelt, das als LGTM (Less Gaussians, Texture More) bekannt ist. Dieses Framework behebt die Ineffizienzen bestehender Feed-Forward-3D-Gauß-Splatting-Methoden, die mit hohen Auflösungen zu kämpfen haben.
Mit zunehmender Auflösung werden herkömmliche Feed-Forward-Methoden kostenintensiv und behindern die Machbarkeit der Generierung hochauflösender 3D-Szenen. Ziel von LGTM ist es, die Fähigkeiten bestehender Systeme zu verbessern, indem die geometrische Komplexität von der Rendering-Auflösung getrennt wird, was eine einfachere Geometrie bei gleichzeitiger Hinzufügung detaillierter Texturen ermöglicht.
Das LGTM-Framework baut auf zuvor etablierten Feed-Forward-Methoden auf, indem Texturvorhersagen über geometrischen Strukturen geschichtet werden. Die Forscher trainierten das Modell mithilfe von Bildern mit niedriger Auflösung, die anhand hochauflösender Grundwahrheiten validiert wurden, um sicherzustellen, dass die generierte Geometrie genau blieb. Darüber hinaus ermöglicht ein zweites Netzwerk, das sich auf detaillierte Texturen aus hochauflösenden Bildern konzentriert, dem System, visuell ansprechende Ergebnisse zu erzielen.
Diese Innovation könnte erhebliche Auswirkungen auf das Apple Vision Pro-Headset haben, das über Displays mit insgesamt etwa 23 Millionen Pixeln verfügt. Aktuelle Feed-Forward-Methoden stoßen bei solch hohen Auflösungen an Grenzen, was zu rechnerischen Engpässen bei der schnellen und genauen Generierung von Szenen führt. LGTM könnte eine flüssigere Leistung und schärfere Bilder in Anwendungen ermöglichen, die eine hochauflösende Szenendarstellung erfordern.
Durch den Einsatz von LGTM kann Apple den Benutzern möglicherweise immersivere Umgebungen und verbesserte Passthrough-Erlebnisse bieten und gleichzeitig den Verarbeitungsaufwand reduzieren. Die LGTM-Projektseite bietet Demonstrationsmethoden wie NoPoSplat, DepthSplat und Flash3D und zeigt verbesserte Ergebnisse im Vergleich zu früheren Techniken.
Beispielvideos und Bilder aus dem Projekt veranschaulichen die Fähigkeit von LGTM, detailliertere Details und Ergebnisse zu liefern, die näher an hochauflösenden Grundwahrheiten liegen, und demonstrieren seine potenziellen Vorteile in praktischen Anwendungen.
