Renderizado XR estereoscópico: conservar poses, proyecciones y capas de imagen por vista

Obtener una pose y una proyección para cada vista

El renderizado estereoscópico requiere vistas desde posiciones oculares distintas. Copiar la imagen de una única cámara en ambos ojos no produce la disparidad geométrica correcta. OpenXR devuelve la información de las vistas para un tiempo de visualización solicitado, y las aplicaciones deben usar el número de vistas que corresponde a la configuración seleccionada. Los datos devueltos pueden cambiar entre llamadas. [1]

Cada vista contiene una pose y los ángulos del campo de visión para cada lado de la proyección. [2] Construye las matrices de forma coherente a partir de esos valores y del espacio de referencia seleccionado. No los sustituyas por una separación interocular fija en el código ni supongas que la proyección tiene que ser simétrica.

Compartir trabajo sin fusionar la identidad de cada vista

Multiview permite que una misma secuencia de comandos grabada sirva para varias vistas. Un índice de vista selecciona el comportamiento propio de cada una; Vulkan lo expone mediante ViewIndex. Es la implementación la que decide cómo ejecutar las vistas de forma eficiente. [3]

Mantén la pose, la proyección, la capa del render target y las entradas de shader que dependen de la vista asociadas al mismo índice. La geometría y los datos de material pueden compartirse, pero un punto en coordenadas del mundo normalmente se proyecta en píxeles distintos en cada ojo. Un vector de reflexión, la orientación de un billboard o una consulta en espacio de pantalla que use por error el otro ojo pueden seguir viéndose mal aunque la geometría básica sea correcta.

Ejemplo práctico: contar la carga de imagen real

Supongamos una configuración estéreo ilustrativa que renderiza 2 vistas, cada una con una resolución de imagen de 1440 por 1600 píxeles. El área de imagen combinada es 2 * 1440 * 1600 = 4608000 píxeles. Una sola vista contiene 2304000 píxeles.

Grabar la escena una sola vez mediante multiview no convierte la salida combinada en un área de imagen de una única vista. Este cálculo excluye el overdraw, el multimuestreo y cualquier variación de resolución; no es un coste de sombreado medido. Úsalo para comprobar si una estimación de rendimiento contó por error un solo ojo. Y, al contrario, no supongas que todos los costes de geometría o de CPU se duplican: las posibilidades de compartir trabajo dependen de la ruta de renderizado y de la implementación.

Validar las dos imágenes antes de optimizar

Empieza con una sala que contenga marcadores cercanos y lejanos y un objeto que cruce el centro de la vista. Muestra la imagen de cada ojo por separado y verifica las etiquetas, el enrutamiento de capas, la proyección y la profundidad. Después inspecciona el resultado estéreo mientras trasladas y giras la vista rastreada. Usa los datos de vista correspondientes al tiempo de visualización previsto y comprueba su validez. [1]

Prueba el culling en los bordes exteriores de ambos ojos. Una decisión de visibilidad compartida debe incluir la geometría visible para cualquiera de los dos ojos, o bien deben usarse decisiones independientes. Valida las partículas, el texto, los reflejos y los efectos de posprocesado con el mismo cuidado que las mallas opacas. Asigna a los recursos temporales una identidad coherente por vista para que los historiales de imagen no puedan intercambiarse por accidente.

Evaluar la ruta estéreo completa

Revisa los campos de visión asimétricos, los cambios de espacio de referencia y las configuraciones de vista que la aplicación realmente admite. Una vista previa mono en el escritorio no puede demostrar que el estéreo sea correcto. Mide conjuntamente el envío, la geometría, el procesamiento de imagen y el tratamiento final de las vistas. Multiview es una herramienta para reducir trabajo duplicado, pero el requisito visual sigue siendo una imagen correctamente proyectada y con una temporización coherente para cada vista necesaria.

Fuentes

• [1] xrLocateViews — Khronos Group, especificación de OpenXR.
• [2] XrView — Khronos Group, especificación de OpenXR.
• [3] VK_KHR_multiview — Khronos Group, especificación de Vulkan.