BI Consult
  • Перейти на QlikSense
  • Перейти на QlikView
  • Перейти на Tableau
  • Перейти на Power BI
  • Контакты
  • +7 812 334-08-01
    +7 499 608-13-06
  • EN
  • Отправить сообщение
  • Главная
  • Продукты Business-Qlik
    • Дистрибуция
    • Розничная торговля
    • Производство
    • Операторы связи
    • Страхование
    • Банки
    • Лизинг
    • Логистика
    • Нефтегазовый сектор
    • Медицина
    • Сеть ресторанов
    • Энергетика
    • Фрод-менеджмент
    • E-Commerce
    • Фармацевтика
    • Построение хранилища данных
    • Создание Data Lake
    • Цифровая трансформация
    • Управление по KPI
    • Финансы
    • Продажи
    • Склад
    • HR
    • Маркетинг
    • Внутренний аудит
    • Категорийный менеджмент
    • S&OP и прогнозная аналитика
    • Геоаналитика
    • Цепочки поставок (SCM)
    • Process Mining
    • Сквозная аналитика
  • Платформы
    • Qlik Sense
    • QlikView
    • Tableau
    • Microsoft Power BI
    • Геоаналитика Qlik GeoAnalytics
    • Qlik NPrinting - рассылка отчетности QlikView/Qlik Sense
    • KliqPlanning Suite - бюджетирование в QlikView
    • ATK BiView-1C Коннектор (для Qlik/Tableau/PowerBI)
    • QlikView/Qlik Sense SAP Коннектор
    • QlikView R-Коннектор
    • Qlik Web Connectors - коннектор Google, Facebook, Twitter
    • Vizlib Qlik Sense extentions (библиотека экстеншнов)
    • Библиотека extention для Qlik
    • Qlik Alerting
    • Qlik Data Integration Platform - создание Data Lake
    • Qlik Data Catalog решение для Data Governance
    • ATK BiView документация
  • Услуги
    • Консалтинг
    • Пилотный проект
    • План обучения и сертификации
    • Подготовка специалистов по Qlik
    • Бесплатное обучение Qlik
    • Сертификация Qlik
    • Поддержка
    • Технические задания
    • Сбор требований для проекта внедрения BI-системы
    • Аудит приложений Qlik и Tableau
    • Разработка BI Стратегии
    • Styleguide для BI-системы
    • Как выбрать BI-систему
  • Курсы
    • Учебный курс по Qlik Sense
    • Учебный курс по Tableau
    • Учебный курс по Microsoft Power BI
    • Учебный курс Информационная грамотность (Data Literacy)
    • Учебный курс Современная архитектура хранилища данных
    • Учебный курс для бизнес-аналитиков
    • Учебный курс по NPrinting
    • Учебный курс по BigQuery
    • Учебный курс по Azure Databricks
    • Учебный курс по DWH
    • Учебный курс по Data Governance
    • Учебный курс по Data Science (ML, AI)
    • Учебный курс администратора Qlik Sense
  • Компания
    • Руководство
    • Новости
    • Клиенты
    • Карьера
    • Скачать
    • Контакты

Услуги

  • Консалтинг
    • Продуктивный и согласованный анализ закупок, продаж и маркетинговых активностей в Fashion-Retail
    • Тренинг «S&OP для производственно-торговых компаний»
    • Проект внедрения Qlik
  • План обучения и сертификации
    • Учебные курсы Qlik
    • Учебные курсы Tableau
    • Учебные курсы Microsoft PowerBI
  • Бесплатное обучение
  • Сертификация Qlik
  • Пилотный проект
  • Сопровождение и поддержка
  • Технические задания
  • Сбор требований для проекта внедрения BI-системы
  • Аудит приложений QlikView / Qlik Sense / Tableau
  • Разработка BI Стратегии
    • Становясь Data-Driven организацией: скрытые возможности и проблемы
  • Styleguide для BI-системы
  • Как выбрать подходящую современную BI-систему

Отраслевые решения

  • Дистрибуция
    • Business-Qlik Дистрибуция
  • Розничная торговля
    • Business-Qlik Розничная торговля
    • Business-Qlik Розничная торговля: DIY
    • Business-Qlik Розничная торговля: Fashion
    • Business-Qlik для сетей аптек
    • BusinessPack для Tableau: POS - Point of Sales Perfomance
  • Производство
    • Business-Qlik Производство
  • Операторы связи
  • Банки
    • Business-Qlik for Banking на базе QlikView/Qlik Sense
    • Бизнес-аналитика в банке
  • Страхование
  • Фармацевтика
    • Business-Qlik Фармацевтика
  • Нефтегазовый сектор
  • Лизинг
  • Логистика
  • Медицина
  • Сеть ресторанов
  • Энергетика
  • E-Commerce
  • Анализ мошенничеств (фрод-менеджмент)

Функциональные решения

  • Управление по KPI
    • Самоуправляемая компания
  • Финансы
    • Бюджетирование
    • Консолидация финансовой отчетности
    • Панель управления, KPI для CFO
    • Рабочий капитал
    • Финансовая отчетность по МСФО
    • Платежный календарь / прогнозный ДДС
  • Продажи
    • Анализ данных из CRM
    • Планирование
  • Склад
  • Категорийный менеджмент
  • HR
  • Маркетинг
  • Внутренний аудит
  • Построение хранилища данных
  • Геоаналитика, аналитика на географической карте
  • Цепочка поставок (SCM)
  • S&OP и прогнозная аналитика
    • Прогнозная аналитика
    • Прогноз спроса на основании данных о вторичных продажах
  • Разработка стратегии цифровой трансформации
  • Сквозная аналитика
  • Process Mining
Главная » Курсы » Учебный курс Современная архитектура хранилища данных

Современная промышленная аналитика Интернета вещей в Azure

Клиенты используют Azure Databricks для промышленной аналитики Интернета вещей

Этот пост – первый из серии из трех частей, посвященных аналитике промышленного IoT (интернет вещей). Он написан в соавторстве Databricks и членами группы Microsoft Cloud Solution Architecture. Мы хотели бы поблагодарить архитектора решений Databricks Самира Гупту и архитекторов облачных решений Microsoft Лану Копривицу и Хуберта Дуа за их вклад в этот и два следующих поста.

За последние несколько лет промышленный Интернет вещей (IIoT) разросся как пакет технологий массового использования, его апробировали преимущественно в нефтегазовой отрасли для широкомасштабного внедрения и использования в химической промышленности, коммунальном, транспортном и энергетическом секторах. Традиционные системы Интернета вещей, такие как Scada, Historians и даже Hadoop, не дают возможности анализировать большие данные, необходимые большинству организаций для прогнозной оптимизации своих промышленных активов, учитывая следующие факторы.

Вызовы

Необходимые возможности

Объемы данных значительно выросли и встречаются часто

Возможность надежного и экономичного сбора и хранения данных с устройств IoT с детализацией менее секунды, которые передают терабайты данных в день.

Потребности в обработке данных становятся все более сложными

Обработка данных в соответствии с ACID – временные окна, агрегирование, сводные данные, обратное заполнение, смещение с возможностью простой повторной обработки старых данных

Больше пользователей хотят получить доступ к данным

Данные – это открытый формат, которым легко поделиться с инженерами по эксплуатации, аналитиками данных, инженерами по обработке данных и специалистами по обработке данных без создания разрозненных хранилищ.

Для принятия решений необходимо масштабируемое машинное обучение

Возможность быстро и совместно обучать прогнозные модели на детализированных исторических данных для принятия интеллектуальных решений по оптимизации активов.

Требования по снижению затрат выше, чем когда-либо

Недорогая управляемая платформа по запросу, которая независимо масштабируется вместе с данными и рабочими нагрузками, не требуя значительного первоначального капитала.

Организации обращаются к платформам облачных вычислений, таким как Microsoft Azure, чтобы воспользоваться преимуществами масштабируемых технологий с поддержкой IIoT, которые они могут предложить, и которые упрощают прием, обработку, анализ и обслуживание источников данных временных рядов, таких как Historians и SCADA-системы.

В части 1 мы обсуждаем комплексный технологический стек и роль, которую Azure Databricks играет в архитектуре и дизайне промышленного приложения современной аналитики Интернета вещей.

Во второй части мы более подробно рассмотрим развертывание современной аналитики IIoT, загрузим данные IIoT в режиме реального времени с полевых устройств в хранилище Azure Data Lake и выполним сложную обработку временных рядов напрямую в Data Lake.

В части 3 мы рассмотрим машинное обучение и аналитику с использованием данных промышленного Интернета вещей.

 

Пример использования – оптимизация ветряных турбин

Большинство проектов IIoT Analytics предназначены для максимального кратковременного использования промышленного актива при минимизации затрат на его долгосрочное обслуживание. В этой статье мы сосредоточимся на гипотетическом поставщике энергии, который пытается оптимизировать свои ветряные турбины. Конечная цель состоит в том, чтобы определить набор оптимальных рабочих параметров турбины, которые максимизируют выходную мощность каждой турбины и минимизируют время ее до отказа.

 

 

Заключительные артефакты этого проекта:

  1. Автоматизированный конвейер приема и обработки данных, который передает данные всем конечным пользователям.
  2. Прогностическая модель, которая оценивает выходную мощность каждой турбины с учетом текущих погодных и эксплуатационных условий.
  3. Прогностическая модель, которая оценивает оставшийся срок службы каждой турбины с учетом текущих погодных и эксплуатационных условий.
  4. Оптимизационная модель, которая определяет оптимальные условия эксплуатации для максимального увеличения выходной мощности и минимизации затрат на техническое обслуживание, тем самым максимизируя общую прибыль.
  5. Панель аналитики в реальном времени для руководителей, позволяющая визуализировать текущее и будущее состояние своих ветряных электростанций, как показано ниже:

 

 

Архитектура – прием, хранение, подготовка, обучение, обслуживание, визуализация

Представленная ниже архитектура иллюстрирует современную платформу, лучшую в своем классе, которую используют многие организации, и которая использует все возможности Azure для аналитики IIoT.

 

 

Ключевым компонентом этой архитектуры является озеро данных Azure (ADLS), которое обеспечивает в Azure шаблон аналитики с однократной записью и частым доступом. Однако сами по себе озера данных не решают реальных проблем, связанных с потоковой передачей данных временных рядов. Формат хранения Delta обеспечивает уровень отказоустойчивости и производительности для всех источников данных, хранящихся в ADLS. В частности, для данных временных рядов Delta предоставляет следующие преимущества по сравнению с другими форматами хранения в ADLS:

Требуемые возможности

Другие форматы в ADLS Gen 2

Дельта-формат в ADLS Gen 2

Единая партия и потоковая передача

Озера данных часто используются вместе с потоковым хранилищем, таким как CosmosDB, что приводит к сложной архитектуре.

Транзакции, совместимые с ACID, позволяют инженерам данных выполнять потоковую загрузку и исторически загружать пакеты в одни и те же места на ADLS.

Применение и развитие схемы

Озера данных не навязывают схему, требуя, чтобы все данные были помещены в реляционную базу данных для обеспечения надежности.

Схема применяется по умолчанию. По мере добавления к потоку данных новых устройств Интернета вещей схемы могут безопасно развиваться, чтобы последующие приложения не перестали работать

Эффективные апсерты

Озера данных не поддерживают оперативные обновления и слияния, требуя удаления и вставки целых разделов для выполнения обновлений.

Команды MERGE эффективны в ситуациях, связанных с отложенными показаниями IoT, измененными таблицами измерений, используемыми для обогащения в реальном времени, или при необходимости повторной обработки данных.

Сжатие файлов

При потоковой передаче данных временных рядов в озера данных создаются сотни или даже тысячи крошечных файлов. .

Автоматическое сжатие в Delta оптимизирует размеры файлов для увеличения пропускной способности и параллелизма.

Многомерная кластеризация

Озера данных обеспечивают фильтрацию вниз только для разделов

Упорядочивание временных рядов по таким полям, как временная метка или идентификатор датчика, позволяет Databricks фильтровать и объединять эти столбцы в 100 раз быстрее, чем простые методы разделения.

 

Резюме

В этом посте мы рассмотрели ряд проблем, с которыми сталкиваются традиционные системы IIoT. Мы рассмотрели вариант использования и цели современной аналитики IIoT, поделились повторяемой архитектурой, которую организации уже развертывают в масштабе, и изучили преимущества Дельта-формата для каждой из требуемых возможностей.

В следующем посте мы будем принимать данные IIoT в реальном времени с полевых устройств в Azure и выполнять сложную обработку временных рядов напрямую в озере данных Delta Lake.

Ключевая технология, которая связывает все воедино – это Delta Lake. Delta на ADLS обеспечивает надежные конвейеры потоковой передачи данных и высокопроизводительные запросы для анализа огромных объемов данных временных рядов. Наконец, она позволяет организациям по-настоящему принять шаблон Lakehouse, добавив лучшие в своем классе инструменты Azure в хранилище данных с возможностью однократной записи и частым доступом.

 

 

Узнать стоимость решенияЗапросить видео презентацию

Запросить видео презентацию Запросить доступ к демо стенду online

Задать вопрос

loading...

Решения

Анализировать ФинансыУвеличивайте ПродажиОптимальный Склад и ЛогистикаМаркетинговые Метрики

Клиенты

  • Консалтинг по Qlik Sense для ЗАО "ПИЛОН", система бизнес-анализа для строительной отрасли на базе Qlik Sense

    Поставка лицензий Qlik Sense, настройка и администрирование сервера Qlik Sense, обучение на курсах на базе собственного учебного центра по Qlik Sense сотрудников компании.

    Помощь и консалтинг в разработке финансового решения (план-факт, БДР, P&L)

  • Machiavelli Luxury Group

    Анализ эффективности проводимых рекламных кампаний; анализ лояльности клиентов; когортный анализ; анализ продаж по направлениям; анализ закупочной деятельности; анализ складской деятельности.

  • СТД Петрович

    Инструментарий для руководства компании; анализ продаж по направлениям и разрезам; анализ складской деятельности; анализ уровня товарного запаса в сравнении с нормативами; анализ логистической деятельности; категорийный менеджмент; анализ эффективности работы с клиентом/ассортиментом; анализ эффективности работы с новыми позициями.

  • Консолидация корпоративной финансовой отчетности по группе компаний; система учета версий и сценариев формирования бюджета

  • Решения
    • Дистрибуция
    • Розничная торговля
    • Производство
    • Операторы связи
    • Банки
    • Страхование
    • Фармацевтика
    • Лизинг
    • Логистика
    • Медицина
    • Нефтегазовый сектор
    • Сеть ресторанов
  • Продукты
    • Qlik Sense
    • QlikView
    • Tableau
    • Microsoft Power BI
    • ATK BiView-1C Коннектор (для Qlik/Tableau/PowerBI)
    • Vizlib Qlik Sense extentions (библиотека экстеншнов)
    • NPrinting
    • Геоаналитика Qlik GeoAnalytics
    • KliqPlanning Suite
    • Qlik WebConnectors
    • QlikView R Коннектор
    • QlikView/Qlik Sense SAP Коннектор
    • Alteryx
    • Qlik Data Catalog
    • Документация ATK BiView
  • Услуги
    • Консалтинг
    • Пилотный проект
    • Поддержка
    • План обучения и сертификации Qlik
    • Бесплатное обучение
    • Учебные курсы
    • Сертификация Qlik
    • Аудит приложений
  • Курсы
    • Учебный курс по Qlik Sense
    • Учебный курс по Tableau
    • Учебный курс по Microsoft Power BI
    • Учебный курс Современная архитектура хранилища данных
    • Учебный курс Информационная грамотность
    • Учебный курс для бизнес-аналитиков
    • Учебный курс по NPrinting
    • Учебный курс по Azure Databricks
    • Учебный курс по Google BigQuery
  • Компания
    • О нас
    • Руководство
    • Новости
    • Клиенты
    • Скачать
    • Контакты
  • Функциональные решения
    • Продажи
    • Финансы
    • Склад
    • HR
    • S&OP и прогнозная аналитика
    • Внутренний аудит
    • Геоаналитика
    • Категорийный менеджмент
    • Построение хранилища данных
    • Система управления KPI и BSC
    • Управление цепочками поставок
    • Маркетинг
    • Цифровая трансформация
    • Сквозная аналитика
    • Process Mining
QlikView Partner
LinkedInYouTubeVkontakteFacebook
ООО "Би Ай Консалт",
ИНН: 7811437757,
ОГРН: 1097847154184
199178, Россия,
Санкт-Петербург,
6-ая линия В.О., Д. 63, 4 этаж
Тел: +7 (812) 334-08-01
Тел: +7 (499) 608-13-06
E-mail: info@biconsult.ru