Интерактивная музыка: планируйте переходы по аудиочасам

Используйте часы аудиорендерера

Обратный вызов игрового потока о наступившей доле приходит слишком поздно, чтобы гарантировать запуск вновь запрошенного звука ровно на этой доле. Аудио формируется буферами, а игровые кадры могут поступать неравномерно. Планируйте будущее формирование звука. Quartz в Unreal поддерживает музыкальную квантизацию на аудиочасах; AudioSource.PlayScheduled в Unity планирует по абсолютной шкале AudioSettings.dspTime. [1][2]

Определите музыкальные условия планирования

Задайте общее начало отсчёта, темп, размер и границы, разрешающие переходы. Определите время подготовки нового сегмента, включая загрузку и декодирование. Используйте одни часы для всех слоёв и выводите границы из музыкальной позиции, вместо последовательного сложения округлённых длительностей игровых кадров. Изменение интенсивности может запросить ближайший допустимый переход без немедленного запуска нового звука. Объединяйте повторные запросы, чтобы не ставить в очередь дубли вступления.

Расчётный пример: следующий такт может быть слишком близко

Возьмём условный темп 120 четвертных долей в минуту, размер 4/4 и частоту 48000 сэмпловых кадров в секунду. Каждая доля длится 0.5 секунды, или 24000 кадров; каждый такт — 2 секунды, или 96000 кадров. Музыкальный отсчёт начинается с нуля.

В аудиомомент 5.3 секунды следующий такт начинается на 6 секундах, оставляя 0.7 секунды для подготовки. Пусть система намеренно требует опережение 0.1 секунды. Запрос на 5.95 секунды оставляет лишь 0.05 секунды, поэтому ближайший допустимый такт для него начнётся на 8 секундах. Опережение здесь — пример политики, а не гарантия движка. Запоздалый старт у пропущенной границы изменил бы музыкальное соотношение.

Проверяйте переходы под нагрузкой

Начните со щелчков на долях и второго слоя, вступающего на границе такта. Запишите сформированное аудио и изучите позиции начал, не выводя время из визуальных уведомлений. Проверьте запросы непосредственно до и после крайнего срока. Добавьте задержки игрового потока и загрузку неподготовленных ресурсов, проверяя, сохраняет ли запасной режим текущую музыку или откладывает вступление.

Определите отмену, паузу, продолжение и смену темпа. Переход, уже поставленный в очередь для одного состояния часов, может потребовать явной замены после изменения состояния. Ищите тишину, повторные атаки и несовпадающие длины сегментов на границах циклов. Плавные переходы должны соблюдать те же временные условия, что и начала сегментов.

Точно формулируйте гарантию

Точность до сэмпла описывает положение внутри сформированного аудио. Она не устраняет выходную буферизацию, задержку устройства или доставку игрового запроса планировщику. Уведомления игрового потока сами по себе не следует считать точными до сэмпла. Смена устройства и недоступные ресурсы требуют правил восстановления. Оценивайте музыкальную непрерывность вместе с отзывчивостью: идеально совмещённое вступление может ощущаться запоздалым, если выбранная граница слишком далека.

Источники

• [1] Quartz Overview — Epic Games, Unreal Engine documentation.
• [2] AudioSource.PlayScheduled — Unity Technologies, Unity 6.0 scripting API.