Stereoskopisches XR-Rendering: Posen, Projektionen und Bildebenen pro View erhalten

Für jede View eine Pose und eine Projektion abrufen

Stereoskopisches Rendering erfordert Views aus unterschiedlichen Augenpositionen. Wird ein einzelnes Kamerabild in beide Augen kopiert, entsteht nicht die korrekte geometrische Disparität. OpenXR liefert View-Informationen für einen angefragten Anzeigezeitpunkt; Anwendungen müssen dabei die Anzahl Views verwenden, die zur gewählten Konfiguration gehört. Die zurückgegebenen Daten können sich zwischen zwei Aufrufen ändern. [1]

Jede View enthält eine Pose sowie die Field-of-View-Winkel für die einzelnen Seiten der Projektion. [2] Die Matrizen sind konsistent aus diesen Werten und dem gewählten Referenzraum aufzubauen. Sie dürfen weder durch einen fest codierten Augenabstand ersetzt werden, noch darf eine symmetrische Projektion vorausgesetzt werden.

Arbeit teilen, ohne die Identität der Views zu vermischen

Mit Multiview kann eine einmal aufgezeichnete Befehlsfolge mehrere Views bedienen. Ein View-Index wählt das jeweils passende Verhalten pro View aus; Vulkan stellt dafür ViewIndex bereit. Wie die Views effizient ausgeführt werden, entscheidet die Implementierung. [3]

Pose, Projektion, Ebene des Render-Targets und view-abhängige Shader-Eingaben müssen an denselben Index gebunden bleiben. Geometrie- und Materialdaten lassen sich gemeinsam nutzen, doch ein Punkt in Weltkoordinaten wird in der Regel in jedem Auge auf andere Pixel projiziert. Ein Reflexionsvektor, die Ausrichtung eines Billboards oder ein Screen-Space-Lookup, der versehentlich auf das andere Auge zugreift, kann sichtbar falsch bleiben, obwohl die Grundgeometrie stimmt.

Durchgerechnetes Beispiel: die tatsächliche Bildlast ermitteln

Angenommen, eine beispielhafte Stereokonfiguration rendert 2 Views mit einer Bildgrösse von je 1440 × 1600 Pixeln. Die gesamte Bildfläche beträgt 2 * 1440 * 1600 = 4608000 Pixel. Eine einzelne View umfasst 2304000 Pixel.

Wird die Szene einmal über Multiview aufgezeichnet, schrumpft die gesamte Ausgabe dadurch nicht auf die Bildfläche einer einzelnen View. Diese Rechnung berücksichtigt weder Overdraw noch Multisampling oder Auflösungsvariationen; sie gibt keine gemessenen Shading-Kosten wieder. Sie dient dazu zu prüfen, ob eine Performance-Schätzung irrtümlich nur ein Auge berücksichtigt hat. Umgekehrt ist nicht davon auszugehen, dass sich sämtliche Geometrie- oder CPU-Kosten verdoppeln: Wie viel sich teilen lässt, hängt vom Rendering-Pfad und von der Implementierung ab.

Beide Bilder vor dem Optimieren validieren

Als Ausgangspunkt eignet sich ein Raum mit nahen und fernen Markierungen sowie einem Objekt, das die Blickmitte kreuzt. Jedes Augenbild separat anzeigen und Beschriftungen, Zuordnung der Ebenen, Projektion und Tiefe prüfen. Anschliessend das Stereoergebnis begutachten, während die getrackte View verschoben und gedreht wird. View-Daten für den vorgesehenen Anzeigezeitpunkt verwenden und ihre Gültigkeit prüfen. [1]

Das Culling an den äusseren Rändern beider Augen testen. Eine gemeinsame Sichtbarkeitsentscheidung muss Geometrie einschliessen, die für eines der beiden Augen sichtbar ist; alternativ sind getrennte Entscheidungen zu treffen. Partikel, Text, Reflexionen und Post-Effekte mit derselben Sorgfalt validieren wie opake Meshes. Temporalen Ressourcen eine konsistente Identität pro View geben, damit Bildhistorien nicht versehentlich vertauscht werden können.

Den gesamten Stereopfad bewerten

Asymmetrische Sichtfelder, Wechsel des Referenzraums und die von der Anwendung tatsächlich unterstützten View-Konfigurationen prüfen. Eine monoskopische Desktop-Vorschau kann die Korrektheit der Stereodarstellung nicht belegen. Submission, Geometrie, Bildverarbeitung und die abschliessende Verarbeitung der Views gemeinsam messen. Multiview ist ein Werkzeug, um doppelte Arbeit zu reduzieren; die visuelle Anforderung bleibt dabei ein korrekt projiziertes und zeitlich konsistentes Bild für jede benötigte View.

Quellen

• [1] xrLocateViews — Khronos Group, OpenXR-Spezifikation.
• [2] XrView — Khronos Group, OpenXR-Spezifikation.
• [3] VK_KHR_multiview — Khronos Group, Vulkan-Spezifikation.