Wie das Apple Vision Pro-Team Remote-Arbeit vom Jupiter-Mond Amalthea ermöglichte

USA - Ekhbary Nachrichtenagentur

Remote-Arbeit vom Jupiter-Mond: Wie das Apple Vision Pro-Team die virtuelle Realität neu erfand

In einem Erlebnis, das die Grenzen zwischen Unterhaltung und Produktivität verschwimmen lässt, können Benutzer jetzt in hyperrealistische virtuelle Umgebungen eintauchen, insbesondere auf die Oberfläche des Jupiter-Mondes Amalthea. Diese scheinbar Science-Fiction-Fähigkeit ist dank des Apple Vision Pro-Headsets und der engagierten Bemühungen seines Entwicklungsteams Realität geworden. Reisen über Millionen von Meilen sind nicht mehr Voraussetzung, um Himmelsblicke zu genießen; durch das Tragen des fortschrittlichen Headsets können sich Benutzer lichtjahre entfernt wiederfinden und kolossale Bildschirme genießen, die sich über den virtuellen Horizont erstrecken.

Diese digitalen Kulissen sind im Apple Vision Pro-Ökosystem als „Environments“ bekannt. Diese bahnbrechende Technologie nutzt integrierte Kameras, um digitale Elemente nahtlos in eine Mixed-Reality-Welt zu integrieren und den Benutzern ein außergewöhnlich immersives Erlebnis zu bieten. Viele Benutzer nutzen diese Funktion, um ihren digitalen Arbeitsbereich zu erweitern und riesige virtuelle Monitore zu erstellen, die über die Grenzen ihrer physischen Geräte hinausgehen. Environments ermöglichen es Benutzern, ihre Sicht auf die reale Welt durch atemberaubende Landschaften zu ersetzen, die von Nationalparks wie Joshua Tree und Yosemite bis hin zu exotischeren Orten wie dem Mond oder sogar den Monden von Jupiter reichen.

Seit ihrer Einführung haben sich diese virtuellen Umgebungen als bemerkenswert immersiv erwiesen. Benutzer können Objekte in einer Szene mit erstaunlicher Detailgenauigkeit heranzoomen, und viele Umgebungen sind mit Echtzeit-Audio-Tracks angereichert, um das Gefühl der Präsenz zu verstärken. Der beruhigende Wind, der den virtuellen Yosemite-Blick begleitet, ist für viele, einschließlich des Autors dieses Berichts, zu einem Favoriten geworden.

Um zu verstehen, wie dieses Maß an Realismus erreicht wurde, präsentiert dieser Artikel Einblicke von Yuri Imoto, Apple Vision Pro Product Marketing, und Matt Dessero, Human Interface Designer bei Apple. Sie beleuchten den komplexen Prozess der Belebung dieser Umgebungen, mit besonderem Schwerpunkt auf der einzigartigen, interaktiven Umgebung des Jupiter-Mondes Amalthea.

Wissenschaftliche Zusammenarbeit für astronomischen Realismus

Die Jupiter-Umgebung unterscheidet sich von anderen virtuellen Einstellungen, da sie die erste vollständig interaktive Umgebung des Vision Pro ist. Das für seine Entwicklung zuständige Team strebte nach maximaler Authentizität, obwohl die Benutzer keinen realen Bezugspunkt für einen fernen Mond wie Amalthea hatten. Um dies zu erreichen, kontaktierte das Apple-Team die Jet Propulsion Laboratory (JPL) der NASA, um ein tiefes Verständnis dafür zu gewinnen, wie es sein könnte, auf der Oberfläche dieses Himmelskörpers zu arbeiten oder zu sitzen.

Matt Dessero, Human Interface Designer bei Apple, erklärte: „Wir sprachen mit Dr. Cynthia Phillips vom Jet Propulsion Laboratory, und sie und das Wissenschaftlerteam dort halfen uns wirklich, die Zusammensetzung des Planeten oder Mondes zu verstehen, auf dem wir uns befinden. Anfangs begannen wir mit einigen Vorvisualisierungen und wendeten einige grundlegende Texturen an, die unserem eigenen Mond ähnelten, der einen Kern hat. Sie wiesen schnell darauf hin, dass Amalthea tatsächlich keinen Kern hat; es ist ein Konglomerat von Gesteinen, Grundgestein, die sich aufgrund der Schwerkraft des Jupiter angesammelt haben und durch Eis zusammengehalten werden.“

Dieses Eis umgibt laut Desseros Beschreibung die Füße des Benutzers in der virtuellen Amalthea-Umgebung. Dynamische Schatten gleiten über die Oberfläche und heben komplexe Texturen und Formen hervor, die genau untersucht werden können. Die Details sind so fein und ansprechend, dass sie die Benutzer sogar von dem riesigen, sich drehenden Planeten vor ihnen ablenken könnten.

Die Präzision dieser Details wird noch beeindruckender, wenn man das begrenzte Referenzmaterial berücksichtigt, das das Apple-Team für Amalthea hatte. „Es gibt einige Kraterdetails, aber es ist im Grunde nur ein kleiner, verschwommener Fleck. Er wurde getroffen, aber er ist ziemlich klein. Also haben wir die JPL konsultiert und am Ende eine grobe Textur für die gesamte Oberfläche erstellt“, erklärt Dessero. Das von ihnen erstellte Schwarz-Weiß-Bild ähnelt einer „verschwommenen Kartoffel“.

Dessero stellt klar: „Es ist unglaublich klein; sein Durchmesser beträgt etwa 100 Meilen, 90-100 Meilen. Zum Vergleich: Der Durchmesser des Jupiter könnte 11 Erden aufnehmen. Amalthea ist also im Großen und Ganzen ziemlich klein.“

Standortwahl und technische Herausforderungen

Trotz der Knappheit an Referenzmaterial bietet Amaltheas Aussichtspunkt einen idealen Blick auf Jupiter. Es ist nah genug, damit der Planet den Horizont dominiert, aber nicht so nah, dass wichtige Details verloren gehen. Es stellt sich die Frage: Was nützt es, Jupiter zu sehen, wenn man den Großen Roten Fleck nicht sehen kann?

Dessero erläutert: „Von Jupiters Mond Io aus war es zu weit entfernt. Von Amalthea aus fühlte sich die Aussicht genau richtig an. Dann versuchten wir es mit Adrastea, was übermäßig groß wirkte – wir konnten den Großen Roten Fleck nicht sehen. Wir wollten wirklich eine bessere Sicht darauf. Und wir wollten keine Schummelei; wir bestanden darauf, auf einem der tatsächlichen Monde zu sein, nicht nur zu schweben und den Mond selbst zu bewegen. Daher war Amalthea unsere Wahl.“

Sobald der Aussichtspunkt festgelegt war, musste Apple die Szene wirklich interaktiv gestalten. Jupiter dreht sich schneller als jeder andere Planet im Sonnensystem und vollendet einen Tag in knapp 10 Stunden. Die Benutzer von Vision Pro können jedoch den Zeitablauf anpassen, um ihn schneller oder langsamer zu machen. All diese Bewegung erfordert erhebliche Rechenleistung und stellt neben der künstlerischen Präsentation eine erhebliche technische Herausforderung dar.

Dessero merkt an: „Wir haben viele unserer Texturen vorab gerendert, damit wir uns ausschließlich auf die Rechenleistung verlassen können, wissen Sie, für all diese dynamischen Schatten, die subsurfaciale Streuung und die stattfindenden Animationen.“ Die erhöhte Leistung des M5-Chips bewältigt diese Übergänge problemlos.

Verschmelzung von Kunst und Technologie

Während die Jupiter-Umgebung die fortschrittlichste und beeindruckendste derzeit verfügbare Umgebung darstellt, neigen Benutzer oft zu traditionelleren Einstellungen. Für terrestrische Umgebungen setzte das Team clevere technische Strategien ein, um realistische Orte zu erfassen und gleichzeitig kreative Freiheiten zu nutzen, um ihre Attraktivität als virtuelle Hintergründe zu erhöhen. Der Erstellungsprozess umfasst die Aufnahme von 360-Grad-Bildern und die Durchführung umfassender 3D-Scans zur Erstellung eines Meshes für die Landschaft.

Dessero erklärt: „Wir fotografieren Panoramen, die den Großteil unserer Textur für entfernte Regionen ausmachen, wo wir auf einfachere Ebenen projizieren können. Für nahe Objekte müssen sie dann für die Texturenerstellung mit einem CG- oder 3D-Objektansatz gerendert werden. Wir verwenden dann Shader für Effekte wie Reflexion, Schatten und so weiter.“ Infolgedessen verleihen die nahen Objekte den Szenen ein spürbares Gefühl von Realismus.

Übermäßige Detailgenauigkeit kann jedoch manchmal den „Uncanny Valley“-Effekt hervorrufen. In der Mondumgebung zum Beispiel stellte das Fehlen von atmosphärischem Dunst, wie er auf der Erde üblich ist, eine einzigartige Herausforderung für die Skalierung dar. Ein visueller Hinweis, der unserem Gehirn normalerweise sagt: „Dieses Objekt ist sehr weit entfernt und auch sehr groß“, fehlt in Abwesenheit einer Atmosphäre. Dies kann dazu führen, dass ein 7.000 Fuß hoher Mondberg wie ein 400 Fuß hoher Hügel aussieht.

Während unsere Augen die Skala in diesen virtuellen Umgebungen möglicherweise nicht immer genau wahrnehmen, tun es die von Vision Pro erstellten digitalen Objekte sicherlich. Ich hatte die Gelegenheit, einen weiteren Film auf einem virtuellen Bildschirm auf dem Gipfel eines Berges anzusehen. Das Licht vom „Bildschirm“ strahlte realistische Reflexionen auf die darunter liegenden Wolken aus und erzeugte einen überraschend überzeugenden immersiven Effekt.

Während meines Gesprächs mit Dessero machte er unmissverständlich klar, dass Apple den gesamten Entwicklungsprozess der Environments als eine sorgfältige Mischung aus reiner Kunst und technischer Ausführung betrachtet. Die Erfassung komplexer LiDAR-Gitter einer Umgebung ermöglicht es Künstlern, eine Version eines Ortes zu schaffen, die sowohl realistisch als auch idealistisch ist.

Fazit: Die Zukunft virtueller Umgebungen

Nach mehreren Wochen mit dem überarbeiteten Apple Vision Pro ist die Jupiter-Umgebung zu meinem am häufigsten genutzten digitalen Ziel geworden. Ich stelle die Simulationsgeschwindigkeit auf die langsamste der drei Einstellungen ein und lasse die Umgebung allmählich wechseln, während ich arbeite oder Inhalte ansehe. Manchmal setze ich mich einfach hin und stelle mir vor, ich sei Dr. Manhattan aus Watchmen, der die Erde erfolgreich verlassen hat, um allein in einer trostlosen, felsigen Einöde im Weltraum zu leben. Ich bin mir nicht sicher, ob Apple das im Sinn hatte, als es all diese Details in die Environments einbrachte, aber ich bin froh, dass sie es getan haben.

Stan Horaczek ist der Executive Gear Editor bei Popular Science. Er leitet ein Team von gadgetbesessenen Autoren und Redakteuren, die sich darauf konzentrieren, die neuesten, besten und innovativsten Gadgets auf dem Markt und darüber hinaus zu finden und vorzustellen.

Ekhbary Nachrichtenagentur