BI Consult
  • Перейти на QlikSense
  • Перейти на QlikView
  • Перейти на Tableau
  • Перейти на Power BI
  • Контакты
  • +7 812 334-08-01
    +7 499 608-13-06
  • EN
  • Отправить сообщение
  • Главная
  • Продукты Business-Qlik
    • Дистрибуция
    • Розничная торговля
    • Производство
    • Операторы связи
    • Страхование
    • Банки
    • Лизинг
    • Логистика
    • Нефтегазовый сектор
    • Медицина
    • Сеть ресторанов
    • Энергетика
    • Фрод-менеджмент
    • E-Commerce
    • Фармацевтика
    • Построение хранилища данных
    • Создание Data Lake
    • Цифровая трансформация
    • Управление по KPI
    • Финансы
    • Продажи
    • Склад
    • HR
    • Маркетинг
    • Внутренний аудит
    • Категорийный менеджмент
    • S&OP и прогнозная аналитика
    • Геоаналитика
    • Цепочки поставок (SCM)
    • Process Mining
    • Сквозная аналитика
  • Платформы
    • Qlik Sense
    • QlikView
    • Tableau
    • Microsoft Power BI
    • Геоаналитика Qlik GeoAnalytics
    • Qlik NPrinting - рассылка отчетности QlikView/Qlik Sense
    • KliqPlanning Suite - бюджетирование в QlikView
    • ATK BiView-1C Коннектор (для Qlik/Tableau/PowerBI)
    • QlikView/Qlik Sense SAP Коннектор
    • QlikView R-Коннектор
    • Qlik Web Connectors - коннектор Google, Facebook, Twitter
    • Vizlib Qlik Sense extentions (библиотека экстеншнов)
    • Библиотека extention для Qlik
    • Qlik Alerting
    • Qlik Data Integration Platform - создание Data Lake
    • Qlik Data Catalog решение для Data Governance
    • ATK BiView документация
  • Услуги
    • Консалтинг
    • Пилотный проект
    • План обучения и сертификации
    • Подготовка специалистов по Qlik
    • Бесплатное обучение Qlik
    • Сертификация Qlik
    • Поддержка
    • Технические задания
    • Сбор требований для проекта внедрения BI-системы
    • Аудит приложений Qlik и Tableau
    • Разработка BI Стратегии
    • Styleguide для BI-системы
    • Как выбрать BI-систему
  • Курсы
    • Учебный курс по Qlik Sense
    • Учебный курс по Tableau
    • Учебный курс по Microsoft Power BI
    • Учебный курс Информационная грамотность (Data Literacy)
    • Учебный курс Современная архитектура хранилища данных
    • Учебный курс для бизнес-аналитиков
    • Учебный курс по NPrinting
    • Учебный курс по BigQuery
    • Учебный курс по Azure Databricks
    • Учебный курс по DWH
    • Учебный курс по Data Governance
    • Учебный курс по Data Science (ML, AI)
    • Учебный курс администратора Qlik Sense
  • Компания
    • Руководство
    • Новости
    • Клиенты
    • Карьера
    • Скачать
    • Контакты

Услуги

  • Консалтинг
    • Продуктивный и согласованный анализ закупок, продаж и маркетинговых активностей в Fashion-Retail
    • Тренинг «S&OP для производственно-торговых компаний»
    • Проект внедрения Qlik
  • План обучения и сертификации
    • Учебные курсы Qlik
    • Учебные курсы Tableau
    • Учебные курсы Microsoft PowerBI
  • Бесплатное обучение
  • Сертификация Qlik
  • Пилотный проект
  • Сопровождение и поддержка
  • Технические задания
  • Сбор требований для проекта внедрения BI-системы
  • Аудит приложений QlikView / Qlik Sense / Tableau
  • Разработка BI Стратегии
    • Становясь Data-Driven организацией: скрытые возможности и проблемы
  • Styleguide для BI-системы
  • Как выбрать подходящую современную BI-систему

Отраслевые решения

  • Дистрибуция
    • Business-Qlik Дистрибуция
  • Розничная торговля
    • Business-Qlik Розничная торговля
    • Business-Qlik Розничная торговля: DIY
    • Business-Qlik Розничная торговля: Fashion
    • Business-Qlik для сетей аптек
    • BusinessPack для Tableau: POS - Point of Sales Perfomance
  • Производство
    • Business-Qlik Производство
  • Операторы связи
  • Банки
    • Business-Qlik for Banking на базе QlikView/Qlik Sense
    • Бизнес-аналитика в банке
  • Страхование
  • Фармацевтика
    • Business-Qlik Фармацевтика
  • Нефтегазовый сектор
  • Лизинг
  • Логистика
  • Медицина
  • Сеть ресторанов
  • Энергетика
  • E-Commerce
  • Анализ мошенничеств (фрод-менеджмент)

Функциональные решения

  • Управление по KPI
    • Самоуправляемая компания
  • Финансы
    • Бюджетирование
    • Консолидация финансовой отчетности
    • Панель управления, KPI для CFO
    • Рабочий капитал
    • Финансовая отчетность по МСФО
    • Платежный календарь / прогнозный ДДС
  • Продажи
    • Анализ данных из CRM
    • Планирование
  • Склад
  • Категорийный менеджмент
  • HR
  • Маркетинг
  • Внутренний аудит
  • Построение хранилища данных
  • Геоаналитика, аналитика на географической карте
  • Цепочка поставок (SCM)
  • S&OP и прогнозная аналитика
    • Прогнозная аналитика
    • Прогноз спроса на основании данных о вторичных продажах
  • Разработка стратегии цифровой трансформации
  • Сквозная аналитика
  • Process Mining
Главная » Курсы » Учебный курс Современная архитектура хранилища данных

Что такое область подготовки данных?

1. Введение

Работая с конвейерами данных, вы могли заметить промежуточную область в большинстве конвейеров данных. Если вы работаете в пространстве данных и у вас есть такие вопросы, как

  • Зачем там область подготовки данных? Разве мы не можем просто загрузить наши данные в целевые таблицы?
  • Зачем нам хранить сырые/необработанные данные, если у нас уже есть очищенные данные?
  • Не дорого ли хранить данные, которые мы не собираемся использовать?
  • Удаляются ли данные из области подготовки данных полностью после преобразования?

 

Тогда этот пост для вас. В этом посте мы рассмотрим, что такое промежуточная область и почему она имеет решающее значение для конвейеров данных.

 

2. Что такое область подготовки данных

Область подготовки данных — это концепция проектирования конвейера данных. Это относится к области, где хранятся необработанные данные, прежде чем они будут преобразованы для дальнейшего использования. Промежуточными областями могут быть таблицы базы данных, файлы в облачной системе хранения и т. д.

 

3. Преимущества наличия области подготовки данных

В большинстве конвейеров данных данные в исходной системе постоянно изменяются. Хранение данных из источника в промежуточной области при каждом запуске конвейера данных предоставляет нам исторический снимок исходных данных.

Предположим, у нас есть конвейер данных, каждый день извлекающий данные из базы данных приложения. База данных приложения представляет данные в текущем состоянии. Например, предположим, что у нас есть пользовательская таблица со столбцом zipcode. Если пользователь изменит свой zipcode, приложение перезапишет существующее значение zipcode . Это стандартный конструкция базы данных OLTP.

Предположим, мы обнаружили ошибку на этапе преобразования и должны повторно обработать данные за последние три месяца, используя правильную логику. У нас нет данных на момент времени за последние три месяца, так как база данных приложения будет содержать только текущее состояние. Но если мы сохранили извлеченные данные в промежуточной области, мы можем запустить обратную загрузку с правильной логикой для данных в промежуточной области.

Таким образом, мы видим, что в области подготовки данных хранятся исторические снимки исходных данных. Промежуточная область устраняет нашу зависимость от источника исторических данных.

Вот еще несколько примеров сценариев, в которых могут быть полезны промежуточные области.

  1. Промежуточные данные со скрейпинга веб-сайтов предоставляют нам исторический снимок веб-сайта. Промежуточная область имеет решающее значение, поскольку веб-сайт может блокировать парсеры, вызовы с ограничением скорости и т. д.
  2. Расхождения в данных можно проследить до необработанных исходных данных. Эта линия передачи данных имеет решающее значение при отладке проблем с вашим конвейером данных.
  3. Если входящие данные добавляют новый столбец после определенной даты, мы можем изменить наш сценарий загрузки с помощью простой логики if-else на основе даты, чтобы учесть это. Наличие логики, основанной на датах, позволяет нам управлять эволюцией схемы.
  4. Заполните целевые данные новой логикой преобразования, примененной к промежуточным данным.

Некоторые конвейеры данных имеют область необработанной/базовой/целевой зоны, где хранятся данные, извлеченные из исходной системы, и промежуточную область, где необработанные данные преобразуются для получения согласованных имен и типов столбцов.

Бизнес-логика применяется к промежуточным данным и тестируется перед вставкой в окончательные таблицы.

 

4. Заключение

Надеюсь, эта статья дало вам представление о том, что такое промежуточная область и почему она имеет решающее значение в конвейере данных. В следующий раз, когда вы будете строить конвейер данных, убедитесь, что у вас есть область подготовки данных, и ваше «я» из будущего скажет вам спасибо.

 

Узнать стоимость решенияЗапросить видео презентацию

Запросить видео презентацию Запросить доступ к демо стенду online

Задать вопрос

loading...

Решения

Анализировать ФинансыУвеличивайте ПродажиОптимальный Склад и ЛогистикаМаркетинговые Метрики

Клиенты

  • ПетроИнТрейд
    Анализ и управление продажами.

    Прогнозирование производства в QlikView, прогнозирование производства продукции в QlikView, прогнозирование объема производства в QlikView, прогнозирование издержек производства в QlikView.

    Сравнительный анализ выбранных периодов по ключевым показателям, в том числе like-for-like анализ (LFL)
    Конструктор отчетов (табличный и графический);
    ABC-XYZ анализ товаров, категорий, брендов, магазинов, поставщиков  в различных разрезах; анализ стабильности ассортимента;
    Анализ развития направлений: анализ внедрений, анализ активности руководителей направления по развитию, анализ первых продаж продукта клиентам
    Панель управления по продажам (dashboard);
  • Sheetrock Danogips

    Анализ деятельности компании в разрезах: товарная иерархия, клиенты, сотрудники

    Финансовый анализ

    Внедрение решения BusinessQlik for Manufacturing.

  • Линзмастер

    Детальный анализ заказов и оплат клиентов компании; анализ эффективности рабочего времени сотрудников на местах; анализ эффективности проводимых акций; реализация складской аналитики; перенос существующей аналитики из Oracle BI в QlikView; реализация аналитики для выявления аномалий, ошибок и подозрительных ситуаций,прогнозирование производства в QlikView, прогнозирование производства продукции в QlikView, прогнозирование объема производства в QlikView, прогнозирование издержек производства в QlikView.

  • Сеть магазинов «Магнит»
    Разработка концепции работы системы анализа ключевых показателей деятельности магазина розничной сети;
    Реализация механизма автоматической рассылки email оповещений;
    Визуализация KPI на мобильных устройствах;
    Картографическое расширение (аналитика QlikView на Yandex.Maps, OpenStreetMap);
    Написание технической документации;
  • Решения
    • Дистрибуция
    • Розничная торговля
    • Производство
    • Операторы связи
    • Банки
    • Страхование
    • Фармацевтика
    • Лизинг
    • Логистика
    • Медицина
    • Нефтегазовый сектор
    • Сеть ресторанов
  • Продукты
    • Qlik Sense
    • QlikView
    • Tableau
    • Microsoft Power BI
    • ATK BiView-1C Коннектор (для Qlik/Tableau/PowerBI)
    • Vizlib Qlik Sense extentions (библиотека экстеншнов)
    • NPrinting
    • Геоаналитика Qlik GeoAnalytics
    • KliqPlanning Suite
    • Qlik WebConnectors
    • QlikView R Коннектор
    • QlikView/Qlik Sense SAP Коннектор
    • Alteryx
    • Qlik Data Catalog
    • Документация ATK BiView
  • Услуги
    • Консалтинг
    • Пилотный проект
    • Поддержка
    • План обучения и сертификации Qlik
    • Бесплатное обучение
    • Учебные курсы
    • Сертификация Qlik
    • Аудит приложений
  • Курсы
    • Учебный курс по Qlik Sense
    • Учебный курс по Tableau
    • Учебный курс по Microsoft Power BI
    • Учебный курс Современная архитектура хранилища данных
    • Учебный курс Информационная грамотность
    • Учебный курс для бизнес-аналитиков
    • Учебный курс по NPrinting
    • Учебный курс по Azure Databricks
    • Учебный курс по Google BigQuery
  • Компания
    • О нас
    • Руководство
    • Новости
    • Клиенты
    • Скачать
    • Контакты
  • Функциональные решения
    • Продажи
    • Финансы
    • Склад
    • HR
    • S&OP и прогнозная аналитика
    • Внутренний аудит
    • Геоаналитика
    • Категорийный менеджмент
    • Построение хранилища данных
    • Система управления KPI и BSC
    • Управление цепочками поставок
    • Маркетинг
    • Цифровая трансформация
    • Сквозная аналитика
    • Process Mining
QlikView Partner
LinkedInYouTubeVkontakteFacebook
ООО "Би Ай Консалт",
ИНН: 7811437757,
ОГРН: 1097847154184
199178, Россия,
Санкт-Петербург,
6-ая линия В.О., Д. 63, 4 этаж
Тел: +7 (812) 334-08-01
Тел: +7 (499) 608-13-06
E-mail: info@biconsult.ru