Renderização estereoscópica em XR: preserve poses, projeções e camadas de imagem por vista

Obtenha uma pose e uma projeção para cada vista

A renderização estereoscópica exige vistas a partir de posições oculares distintas. Copiar a imagem de uma única câmera para os dois olhos não produz a disparidade geométrica correta. O OpenXR devolve as informações de vista para um instante de exibição solicitado, e a aplicação deve usar o número de vistas da configuração selecionada. Os dados devolvidos podem mudar entre chamadas. [1]

Cada vista contém uma pose e os ângulos de campo de visão para os lados da projeção. [2] Construa as matrizes de forma consistente a partir desses valores e do espaço de referência selecionado. Não os substitua por uma separação ocular fixa no código nem presuma que a projeção tenha de ser simétrica.

Compartilhe trabalho sem fundir a identidade das vistas

O multiview permite que uma única sequência de comandos gravada sirva várias vistas. Um índice de vista seleciona o comportamento apropriado de cada vista; no Vulkan isso é exposto por meio de ViewIndex. Cabe à implementação determinar como executar as vistas de forma eficiente. [3]

Mantenha a pose, a projeção, a camada do render target e as entradas de shader dependentes da vista associadas ao mesmo índice. Os dados de geometria e de material podem ser compartilhados, mas um ponto no espaço do mundo geralmente é projetado em pixels diferentes em cada olho. Um vetor de reflexão, a orientação de um billboard ou uma consulta em espaço de tela que use por engano o outro olho pode continuar visivelmente errado, mesmo que a geometria básica esteja correta.

Exemplo prático: conte a carga de imagem real

Suponha uma configuração estéreo ilustrativa que renderiza 2 vistas, cada uma com uma extensão de imagem de 1440 por 1600 pixels. A área de imagem combinada é 2 * 1440 * 1600 = 4608000 pixels. Uma única vista contém 2304000 pixels.

Gravar a cena uma só vez por meio do multiview não faz com que a saída combinada passe a ter a área de imagem de uma única vista. Este cálculo exclui overdraw, multisampling e qualquer variação de resolução; não é um custo de sombreamento medido. Use-o para verificar se uma estimativa de desempenho contou, por engano, apenas um olho. Em contrapartida, não presuma que todo custo de geometria ou de CPU dobra: as oportunidades de compartilhamento dependem do caminho de renderização e da implementação.

Valide as duas imagens antes de otimizar

Comece com uma sala que tenha marcadores próximos e distantes e um objeto que cruze o centro da vista. Exiba cada imagem ocular separadamente e verifique rótulos, roteamento de camadas, projeção e profundidade. Depois, inspecione o resultado estéreo enquanto translada e rotaciona a vista rastreada. Use os dados de vista do instante de exibição pretendido e confira a sua validade. [1]

Teste o culling nas bordas externas de ambos os olhos. Uma decisão de visibilidade compartilhada tem de incluir a geometria visível para qualquer um dos olhos, ou então use decisões independentes. Valide partículas, texto, reflexos e efeitos de pós-processamento com o mesmo cuidado que as malhas opacas. Dê aos recursos temporais uma identidade consistente por vista, para que os históricos de imagem não sejam trocados por acidente.

Avalie o caminho estéreo completo

Verifique campos de visão assimétricos, mudanças de espaço de referência e as configurações de vista que a aplicação realmente suporta. Uma pré-visualização mono no desktop não permite estabelecer a correção do estéreo. Meça em conjunto a submissão, a geometria, o processamento de imagem e o tratamento final das vistas. O multiview é uma ferramenta para reduzir trabalho duplicado, mas o contrato visual continua o mesmo: uma imagem corretamente projetada e com temporização consistente para cada vista necessária.

Sources

• [1] xrLocateViews — Khronos Group, OpenXR specification.
• [2] XrView — Khronos Group, OpenXR specification.
• [3] VK_KHR_multiview — Khronos Group, Vulkan specification.