Facebook möchte Ihnen durch seine neue Augmented-Reality-Brille Wahrnehmungs-Superkräfte verleihen. Ein Revolutionär Facebook Das Experiment soll zeigen, wie Klang eine wichtige Rolle in der Augmented Reality spielen kann, bis Menschen etwas erhalten, das Forscher aus dem sozialen Netzwerk als „Wahrnehmungssupermächte“ bezeichnen.
Facebook und die neue Augmented Reality Brille
Facebook Reality Labs Research (FRL Research), das Forschungslabor des sozialen Netzwerks, entwickelt seit sechs Jahren ein Projekt, das auf Augmented Reality und Virtual Reality basiert und die menschliche Kommunikation verbessern soll.
Ein interdisziplinäres Audioteam, das sich unter anderem aus Wissenschaftlern, Ingenieuren und Designern zusammensetzt, hat die Aufgabe, virtuelle Klänge zu erzeugen, die wahrnehmbar nicht von der Realität zu unterscheiden sind, und das menschliche Gehör neu zu definieren.
Die neue Augmented-Reality-Brille von Facebook könnte die Audioaufnahme mit Mikrofonen ermöglichen. Dabei werden kontextbezogene Hinweise verwendet, mit denen gemessen werden kann, welche Geräusche wichtig sind, und die über ein Headset mit Geräuschunterdrückung übertragen werden können.
Zusätzlich könnte ein verbesserter räumlicher Klang die Stimmen der Teilnehmer in einem Telefongespräch oder einem Videoanruf projizieren und das Gefühl erhöhen, mit einer anderen Person oder in Gegenwart von Audio zusammen zu sein.
Um dies zu erreichen, hat sich das Team darauf konzentriert, zwei Funktionen anzubieten:
Im Jahr 2017 entwickelte das Team virtuelle Sounds, die die Richtungen nachahmen, aus denen Sounds im realen Leben stammen, sowie hochwertige akustische Simulationstechnologien, die virtuelle Umgebungen glaubwürdiger machen. Technologien haben den Stand der Technik in Bezug auf räumliches Audio vorangetrieben und viele der heutigen Erfahrungen wie die Virtual-Reality-Brille Oculus Quest und die Rift-Plattform unterstützt.
Verbesserung des räumlichen Audios
Eines der Hauptwerkzeuge, das die Arbeit unterstützt, ist räumliches Audio, das das Gefühl vermittelt, am selben Ort präsent zu sein, obwohl sie tatsächlich kilometerweit voneinander entfernt sind.
Spatial Audio ahmt die Richtungen nach, aus denen Klänge im realen Leben und in der Umgebungsakustik kommen, was für Videoanrufe ein Spielveränderer sein könnte.
„Bei einem heutigen Telefonanruf klingt die Stimme der anderen Person so, als käme sie vom Telefon selbst (oder von der Mitte Ihres Kopfes, wenn Sie Kopfhörer tragen), sodass Ihr Gehirn die Idee ablehnt, dass sich die andere Person möglicherweise in derselben befindet Standort “, beschreibt Lisa Brown, Managerin für Kommunikationstechnologien bei Facebook.
Das Unternehmen ist der Ansicht, dass räumliches Audio mit Codec Avatars kombiniert werden kann, ultrarealistischen Renderings von Personen, die in Echtzeit animiert werden. „Dies wird es ermöglichen, die wahre soziale Präsenz zu brechen. Indem Sie Zeit mit wichtigen Menschen in Ihrem Leben an bedeutungsvollen Orten verbringen können, können wir Ihre Lebens-, Arbeits- und Spielweise radikal verändern “, fügt Brown hinzu.
Wahrnehmungssupermächte
Zum Beispiel wäre es möglich, ein Gespräch in einem überfüllten Restaurant oder einer überfüllten Bar fortzusetzen, ohne die Stimme erheben zu müssen, um gehört zu werden, oder sich zu bemühen, zu verstehen, was andere sagen.
Durch die Verwendung mehrerer Mikrofone an der Brille ist es möglich, die Geräusche der Umgebung aufzunehmen. Dann können wir anhand des Bewegungsmusters von Kopf und Augen herausfinden, welche dieser Geräusche er am meisten interessiert.
„Auf diese Weise können wir die entsprechenden Geräusche verbessern und andere dämpfen, um sicherzustellen, dass das, was Sie wirklich hören möchten, auch bei lauten Hintergrundgeräuschen klar ist“, sagt Mehra.
Das Ziel des Teams ist es, die gesamte Bandbreite der Geräusche abzudecken, die Menschen von 20 Hz bis 20.000 Hz hören können.
Derzeit entwickeln sie Special Internal Monitors (IEM), einen Ausgangsprototyp, der den Einsatz aktiver Geräuschunterdrückungstechnologien ermöglicht, um die Lautstärke unerwünschter Hintergrundgeräusche effektiv zu reduzieren.
„Wenn wir dies mit dem Eingabeprototyp von FRL Research, einschließlich des Mikrofonarrays, kombinieren, können wir das volle Hörerlebnis bieten“, erklärt Brown.
