Медленно меняющиеся измерения: перезаписать значение, добавить строку или столбец

Что это такое

Атрибуты измерений меняются медленно и нерегулярно, и хранилище должно решить, показывать ли факт, записанный в прошлом году, под прошлогодним значением атрибута или под сегодняшним. Страницы о методах Kimball Group (в источниках) определяют основные варианты. Тип 1: прежнее значение атрибута в строке измерения заменяется новым, поэтому атрибут всегда отражает последнее назначение, а история уничтожается; агрегаты, построенные по старому значению, необходимо пересчитать. Тип 2: добавляется новая строка измерения с обновлёнными значениями и новым суррогатным первичным ключом, на который строки фактов ссылаются начиная с момента изменения; страница требует как минимум три дополнительных столбца: дату начала действия строки, дату окончания действия и признак текущей строки. Тип 3 добавляет атрибут, сохраняющий старое значение, а основной атрибут перезаписывается, поэтому отчёты можно группировать как по текущему, так и по прежнему значению; на странице отмечено, что этот метод применяется сравнительно редко. Снимки dbt (в источниках) реализуют тип 2 для изменяемых исходных таблиц, добавляя к каждой версии dbt_valid_from и dbt_valid_to; стратегия timestamp выявляет изменения по столбцу updated_at, стратегия check — по сравнению списка столбцов, а настройка определяет, игнорируются ли удалённые в источнике строки, прекращается ли их действие или удаление записывается новой версией.

Почему это важно

Без политики один и тот же отчёт даёт разные ответы в зависимости от момента запуска, и никто не может сказать, использует ли «продажи по регионам» регион клиента на момент покупки или сейчас. Тип 2 отвечает на оба вопроса, но умножает строки измерений и требует при каждой загрузке фактов находить суррогатный ключ, действовавший в момент события.

Как применять

• Решайте для каждого атрибута, а не для всей таблицы: исправления ошибок ввода — тип 1; реальные изменения, которые отчёты должны относить к историческому состоянию, — тип 2.
• Сохраняйте естественный ключ в каждой строке типа 2 и создайте индекс по (natural key, valid_from) для поиска состояния на момент времени; последовательно используйте специальное значение без верхней границы либо NULL для текущей строки и документируйте выбор.
• Создавайте снимки не реже самого мелкого периода отчётности; изменения между двумя снимками сливаются в одну версию.
• Загружайте факты, соединяя по естественному ключу со строкой, диапазон действия которой содержит время события, а не с текущей строкой.

Подводные камни

Поздно поступившие изменения измерений требуют заменить ключи уже загруженных фактов. Тип 2 для часто меняющихся атрибутов (последний вход) делает измерение больше таблицы фактов; перенесите такие атрибуты в таблицу фактов или отдельное мини-измерение.