Обзор/оптимизация QVD
Преимущества:
- Улучшение качества обслуживания и поддержки
- Повышение согласованности данных
Цель
Целью является выявление и устранение неэффективности и дублирования в файлах QVD, а также обнаружение аномалий, которые могут указывать на проблемы с логикой перезагрузки или незапланированные всплески роста/емкости.
Примечание
Эти действия относятся не к оптимизации QVD в традиционном смысле оптимизации времени их чтения, а скорее к оптимизации хранения QVD.
Предварительное требование
Qlik Sense QVD Monitor
На этой странице используется приложение Qlik Sense QVD Monitor. Для изучения документации, пожалуйста, обратитесь к разделу «QVD Monitor».
Что делать?
Условия для начала выполнения:
- Приложение Qlik Sense QVD Monitor настроено.
- Приложение опубликовано в потоке Monitoring apps.
- Настроена ежедневная перезагрузка
- *Желательно иметь данные за более чем 14 дней, чтобы были видны тенденции
Процесс
Откройте приложение Qlik Sense QVD Monitor, а затем выберите лист QVD Details
Этап 1
Обратите внимание на общие показатели в верхней части таблицы и убедитесь, что все папки QVD отражены в таблице QVD Growth Rates.
Этап 2
Ищите аномалии в темпах роста (положительные или отрицательные) файлов QVD. Они будут выделены красным цветом, и, возможно, потребуется развернуть сводную таблицу, чтобы их можно было увидеть.
Примечание
Пороговые значения по умолчанию можно изменить в скрипте загрузки.
Если цель состоит в том, чтобы изучить рост по дням и любые тенденции QVD, отобразите таблицу QVD Metadata Details в нижней части листа (первый из двух объектов в контейнере).
Также предлагается просмотреть тенденции количества строк того же QVD во втором объекте в контейнере – диаграмме Row Count Trends.
Решения о том, является ли тенденция роста «нормальной» или «аномальной», принимает организация. Тем не менее, в целом считается лучшей практикой, что отрицательный рост, как правило, должен быть оправдан, а всплески роста или нерегулярный рост также должны быть подтверждены. В таких ситуациях лучше всего открыть приложение, которое создает рассматриваемый QVD (обычно генератор QVD) и/или поговорить с ответственным разработчиком. Это также может быть связано с недавним изменением логики или изменением источника и, в этом случае, изменение также должно быть подтверждено.
Этап 3
Перейдите к листу Search Columns в приложении.
В таблице «Column Occurrences» в левой части листа отображается полный список столбцов QVD с количеством вхождений каждого имени столбца во всех QVD. Обратите внимание, что эта таблица содержит только самую последнюю загрузку QVD для всех QVD.
Выберите столбец в этой таблице, чтобы отфильтровать основную таблицу и просмотреть подробные сведения о QVD, которые содержат это имя столбца. Это очень важно для обеспечения того, чтобы один и тот же столбец не использовался ни с разными исходными данными, ни с логикой, которая производит существенно разные значения в QVD для одного и того же столбца. Когда это происходит, это может вызвать путаницу среди разработчиков или пользователей, а также может привести к несоответствиям между приложениями. Обратитесь к приведенному ниже примеру, где было выбрано WorkBookName, и результирующие QVD, содержащие этот столбец, имели разное количество уникальных значений для этого же столбца. Это может быть несоответствием, которое требует дальнейшего изучения.
Этап 4
«QVD Overlap» – это термин, означающий, что многие имена столбцов из двух или более QVD сильно перекрываются, скажем, на 50% или больше. Иногда это делается намеренно, например, наличие сводной и подробной версии QVD может быть большим для производительности, а сегментированные QVD для больших наборов данных на самом деле считаются передовой практикой. Однако, когда QVD непреднамеренно сильно перекрывают друг друга или дублируют друг друга, это может означать дополнительную работу по перезагрузке, раздувание хранилища, дополнительное обслуживание и может вызвать путаницу среди разработчиков, дизайнеров и пользователей.
Перейдите на лист QVD Overlap.
В таблице Source → Target Overlap справа найдите и выберите QVD, которые имеют большой процент перекрытия с другими QVD.
Затем отдельно выберите целевые QVD, чтобы увидеть перекрытие столбцов между QVD.
Проанализируйте перекрытие, чтобы определить, нужно ли на него реагировать. Например, если два QVD перекрываются на 95% и имеют одинаковую степень детализации данных, это может быть дублирующей работой и может сбить с толку разработчиков Qlik Sense. Это также может привести к несоответствиям в будущем, если QVD получат разную логику в том, как они загружаются.
Однако, подобная ситуация также может произойти, если в QVD, которые перезаписываются ежемесячно, добавляются новые поля. Поэтому естественно, что по мере добавления новых полей QVD начнут различаться, что является нормальным.
