BI Consult
  • Перейти на QlikSense
  • Перейти на QlikView
  • Перейти на Tableau
  • Перейти на Power BI
  • Контакты
  • +7 812 334-08-01
    +7 499 608-13-06
  • EN
  • Отправить сообщение
  • Главная
  • Продукты Business-Qlik
    • Дистрибуция
    • Розничная торговля
    • Производство
    • Операторы связи
    • Страхование
    • Банки
    • Лизинг
    • Логистика
    • Нефтегазовый сектор
    • Медицина
    • Сеть ресторанов
    • Энергетика
    • Фрод-менеджмент
    • E-Commerce
    • Фармацевтика
    • Построение хранилища данных
    • Создание Data Lake
    • Цифровая трансформация
    • Управление по KPI
    • Финансы
    • Продажи
    • Склад
    • HR
    • Маркетинг
    • Внутренний аудит
    • Категорийный менеджмент
    • S&OP и прогнозная аналитика
    • Геоаналитика
    • Цепочки поставок (SCM)
    • Process Mining
    • Сквозная аналитика
  • Платформы
    • Qlik Sense
    • QlikView
    • Tableau
    • Microsoft Power BI
    • Геоаналитика Qlik GeoAnalytics
    • Qlik NPrinting - рассылка отчетности QlikView/Qlik Sense
    • KliqPlanning Suite - бюджетирование в QlikView
    • ATK BiView-1C Коннектор (для Qlik/Tableau/PowerBI)
    • QlikView/Qlik Sense SAP Коннектор
    • QlikView R-Коннектор
    • Qlik Web Connectors - коннектор Google, Facebook, Twitter
    • Vizlib Qlik Sense extentions (библиотека экстеншнов)
    • Библиотека extention для Qlik
    • Qlik Alerting
    • Qlik Data Integration Platform - создание Data Lake
    • Qlik Data Catalog решение для Data Governance
    • ATK BiView документация
  • Услуги
    • Консалтинг
    • Пилотный проект
    • План обучения и сертификации
    • Подготовка специалистов по Qlik
    • Бесплатное обучение Qlik
    • Сертификация Qlik
    • Поддержка
    • Технические задания
    • Сбор требований для проекта внедрения BI-системы
    • Аудит приложений Qlik и Tableau
    • Разработка BI Стратегии
    • Styleguide для BI-системы
    • Как выбрать BI-систему
  • Курсы
    • Учебный курс по Qlik Sense
    • Учебный курс по Tableau
    • Учебный курс по Microsoft Power BI
    • Учебный курс Информационная грамотность (Data Literacy)
    • Учебный курс Современная архитектура хранилища данных
    • Учебный курс для бизнес-аналитиков
    • Учебный курс по NPrinting
    • Учебный курс по BigQuery
    • Учебный курс по Azure Databricks
    • Учебный курс по DWH
    • Учебный курс по Data Governance
    • Учебный курс по Data Science (ML, AI)
    • Учебный курс администратора Qlik Sense
  • Компания
    • Руководство
    • Новости
    • Клиенты
    • Карьера
    • Скачать
    • Контакты

Услуги

  • Консалтинг
    • Продуктивный и согласованный анализ закупок, продаж и маркетинговых активностей в Fashion-Retail
    • Тренинг «S&OP для производственно-торговых компаний»
    • Проект внедрения Qlik
  • План обучения и сертификации
    • Учебные курсы Qlik
    • Учебные курсы Tableau
    • Учебные курсы Microsoft PowerBI
  • Бесплатное обучение
  • Сертификация Qlik
  • Пилотный проект
  • Сопровождение и поддержка
  • Технические задания
  • Сбор требований для проекта внедрения BI-системы
  • Аудит приложений QlikView / Qlik Sense / Tableau
  • Разработка BI Стратегии
    • Становясь Data-Driven организацией: скрытые возможности и проблемы
  • Styleguide для BI-системы
  • Как выбрать подходящую современную BI-систему

Отраслевые решения

  • Дистрибуция
    • Business-Qlik Дистрибуция
  • Розничная торговля
    • Business-Qlik Розничная торговля
    • Business-Qlik Розничная торговля: DIY
    • Business-Qlik Розничная торговля: Fashion
    • Business-Qlik для сетей аптек
    • BusinessPack для Tableau: POS - Point of Sales Perfomance
  • Производство
    • Business-Qlik Производство
  • Операторы связи
  • Банки
    • Business-Qlik for Banking на базе QlikView/Qlik Sense
    • Бизнес-аналитика в банке
  • Страхование
  • Фармацевтика
    • Business-Qlik Фармацевтика
  • Нефтегазовый сектор
  • Лизинг
  • Логистика
  • Медицина
  • Сеть ресторанов
  • Энергетика
  • E-Commerce
  • Анализ мошенничеств (фрод-менеджмент)

Функциональные решения

  • Управление по KPI
    • Самоуправляемая компания
  • Финансы
    • Бюджетирование
    • Консолидация финансовой отчетности
    • Панель управления, KPI для CFO
    • Рабочий капитал
    • Финансовая отчетность по МСФО
    • Платежный календарь / прогнозный ДДС
  • Продажи
    • Анализ данных из CRM
    • Планирование
  • Склад
  • Категорийный менеджмент
  • HR
  • Маркетинг
  • Внутренний аудит
  • Построение хранилища данных
  • Геоаналитика, аналитика на географической карте
  • Цепочка поставок (SCM)
  • S&OP и прогнозная аналитика
    • Прогнозная аналитика
    • Прогноз спроса на основании данных о вторичных продажах
  • Разработка стратегии цифровой трансформации
  • Сквозная аналитика
  • Process Mining
Главная » Курсы » Учебный курс Современная архитектура хранилища данных

5 достоинств и 2 недостатка Data Vault для КХД и архитектора Big Data

В этой статье мы рассмотрим основные плюсы и минусы Data Vault – популярного подхода к моделированию сущностей при проектировании корпоративных хранилищ данных (КХД). Читайте сегодня, почему промежуточные базы перед витринами данных упрощают ETL-процессы, за счет чего обеспечивается отсутствие избыточности и как много таблиц могут усложнить жизнь архитектора Big Data.

 

ЧЕМ ХОРОШ DATA VAULT: ОСНОВНЫЕ ПРЕИМУЩЕСТВА ДЛЯ ДИЗАЙНА КХД

Ключевыми достоинствами подхода Data Vault считаются следующие :

  • Гибкость и простота моделирования, когда для описания предметной области используется минимум концептуальных понятий (хабы, ссылки и спутники), взаимоотношения между которыми описываются строгой системой правил. Подробнее об этом мы рассказывали здесь.
  • Быстрота и удобство разработки ETL-процессов, которые реализуют последовательный подход к загрузке информации в хранилище с возможностью распараллеливания одного потока работ на несколько конвейеров, в т.ч. в режиме near real-time. Упрощение ETL-процессов достигается за счет промежуточных баз (Raw Vault и Business Vault), которые выполняют роль «прослойки» перед витринами данных. При том, что таблиц в этой прослойке может быть намного больше, чем в третьей нормальной форме, все объекты достаточно просты, а потому ETL-процессы тоже становятся проще за счет своего однообразия .
  • отсутствие избыточности данных, что особенно важно в области Big Data. Это возможно благодаря математической базе Data Vault архитектуры, основанной на сокращении избыточности. В частности, таблицы-Спутники используются только для хранения дельты (изменившейся информации). Обычно, таблицы-Спутники бывают очень длинными с малым количеством столбцов. В случае быстрого роста одного из спутников его можно оперативно разделить на 2, запустив процесс разделения дельты. Это позволит сократить дублирование колоночных данных и, соответственно, занимаемое на диске место. Это гораздо проще, чем традиционная архитектура КХД на основе измерений (Dimension Data Warehouse), где измерения 2-го типа могут реплицировать данные во многих столбцах, создавая многочисленные копии и новые ключи .

Также следует отметить еще 2 преимущества подхода Data Vault :

  • расширяемость модели, когда по мере необходимости возможно изменение структуры уже использующегося КХД, в т.ч. добавление и сопоставление данных из новых источников. Максимально полное хранилище сырых данных и удобная структура их хранения позволяют сформировать предметную витрину (Data Mart) под любые требования бизнеса.
  • поддержка Agile-принципов, когда новые данные просто подключаются к существующей модели, не модифицируя ее структуру. При этом обеспечивается максимальная изоляция решаемой задачи от production посредством загрузки необходимого минимума данных. Таким образом планирование итераций, например, спринтов в Scrum, становится проще, а результаты этих этапов будут предсказуемы.

 

НЕДОСТАТКИ МЕТОДА ИЛИ ГОЛОВНАЯ БОЛЬ АРХИТЕКТОРА BIG DATA

Обратной стороной вышеописанных достоинств являются следующие недостатки:

  • Большое число операций соединения данных из разных таблиц (join). Поэтому запросы могут выполняться медленнее, чем в традиционных денормализованных КХД по схеме звезды .
  • обязательное наличие витрин данных, т.к. сам по себе подход Data Vault не слишком хорошо подходит для прямых запросов  из-за особенностей хранения информации в сырых и бизнес-ориентированных видах (Raw Vault и Business Vault). Впрочем, витрины данных предназначены для широкого круга пользователей, что соответствует одному из главных прикладных назначений КХД – BI-аналитике. Поэтому обязательность Data Mart можно рассматривать как особенность, а не минус концепции Data Vault.

Также на практике можно столкнуться с недостатком обучающих материалов по концепции Data Vault. Однако сегодня этот недостаток стремительно нивелируется большим количеством русскоязычных и зарубежных публикаций и специализированных ресурсов. Поэтому можно сделать вывод о растущей популярности этого метода моделирования данных для разработки DWH.

Разумеется, Data Vault 2.0 – это не единственный современный подход к построению КХД. Например, архитекторы данных нефтехимической компании СИБУР решили использовать эту концепцию в сочетании с якорным (анкерным) методом моделирования, чтобы объединить в одном КХД показатели из бизнес-приложений (ERP, CRM, HR и пр.) и производственных систем (MES, SCADA) с целью сквозной аналитики Big Data .

 

 

 

Узнать стоимость решенияЗапросить видео презентацию

Запросить видео презентацию Запросить доступ к демо стенду online

Задать вопрос

loading...

Решения

Анализировать ФинансыУвеличивайте ПродажиОптимальный Склад и ЛогистикаМаркетинговые Метрики

Клиенты

  • Qlik Sense для сетей DIY, внедрение Клик Сенс в Максидом

    Поставка лицензий Qlik Sense, настройка, администрирование и поддержка сервера Qlik Sense, обучение и консультации клиента по разрабтке приложений и моделей Qik Sense

  • Си-Проджект

    Анализ регулярности клиентов; модель прогнозирования продаж; анализ эффективности маркетинговых акций аналитика по акциям «Trade» и «BTL»; анализ вторичных продаж сетей;  анализ потенциала дистрибуторов.

  • Решение "Анализ контейнерных перевозок в QlikView"
  • Макро Групп

    Анализ эффективности отдела по работе с клиентами; анализ эффективности работы отдела закупок; анализ эффективности и качества работы поставщиков; анализ внутренней и внешней логистики; анализ ключевых показателей деятельности компании; визуализация финансовых потоков внутри группы компаний; анализ управления дебиторской/кредиторской задолженностями; анализ эффективности управления складом.

  • Решения
    • Дистрибуция
    • Розничная торговля
    • Производство
    • Операторы связи
    • Банки
    • Страхование
    • Фармацевтика
    • Лизинг
    • Логистика
    • Медицина
    • Нефтегазовый сектор
    • Сеть ресторанов
  • Продукты
    • Qlik Sense
    • QlikView
    • Tableau
    • Microsoft Power BI
    • ATK BiView-1C Коннектор (для Qlik/Tableau/PowerBI)
    • Vizlib Qlik Sense extentions (библиотека экстеншнов)
    • NPrinting
    • Геоаналитика Qlik GeoAnalytics
    • KliqPlanning Suite
    • Qlik WebConnectors
    • QlikView R Коннектор
    • QlikView/Qlik Sense SAP Коннектор
    • Alteryx
    • Qlik Data Catalog
    • Документация ATK BiView
  • Услуги
    • Консалтинг
    • Пилотный проект
    • Поддержка
    • План обучения и сертификации Qlik
    • Бесплатное обучение
    • Учебные курсы
    • Сертификация Qlik
    • Аудит приложений
  • Курсы
    • Учебный курс по Qlik Sense
    • Учебный курс по Tableau
    • Учебный курс по Microsoft Power BI
    • Учебный курс Современная архитектура хранилища данных
    • Учебный курс Информационная грамотность
    • Учебный курс для бизнес-аналитиков
    • Учебный курс по NPrinting
    • Учебный курс по Azure Databricks
    • Учебный курс по Google BigQuery
  • Компания
    • О нас
    • Руководство
    • Новости
    • Клиенты
    • Скачать
    • Контакты
  • Функциональные решения
    • Продажи
    • Финансы
    • Склад
    • HR
    • S&OP и прогнозная аналитика
    • Внутренний аудит
    • Геоаналитика
    • Категорийный менеджмент
    • Построение хранилища данных
    • Система управления KPI и BSC
    • Управление цепочками поставок
    • Маркетинг
    • Цифровая трансформация
    • Сквозная аналитика
    • Process Mining
QlikView Partner
LinkedInYouTubeVkontakteFacebook
ООО "Би Ай Консалт",
ИНН: 7811437757,
ОГРН: 1097847154184
199178, Россия,
Санкт-Петербург,
6-ая линия В.О., Д. 63, 4 этаж
Тел: +7 (812) 334-08-01
Тел: +7 (499) 608-13-06
E-mail: info@biconsult.ru