BI Consult
  • Перейти на QlikSense
  • Перейти на QlikView
  • Перейти на Tableau
  • Перейти на Power BI
  • Контакты
  • +7 812 334-08-01
    +7 499 608-13-06
  • EN
  • Отправить сообщение
  • Главная
  • Продукты Business-Qlik
    • Дистрибуция
    • Розничная торговля
    • Производство
    • Операторы связи
    • Страхование
    • Банки
    • Лизинг
    • Логистика
    • Нефтегазовый сектор
    • Медицина
    • Сеть ресторанов
    • Энергетика
    • Фрод-менеджмент
    • E-Commerce
    • Фармацевтика
    • Построение хранилища данных
    • Создание Data Lake
    • Цифровая трансформация
    • Управление по KPI
    • Финансы
    • Продажи
    • Склад
    • HR
    • Маркетинг
    • Внутренний аудит
    • Категорийный менеджмент
    • S&OP и прогнозная аналитика
    • Геоаналитика
    • Цепочки поставок (SCM)
    • Process Mining
    • Сквозная аналитика
  • Платформы
    • Qlik Sense
    • QlikView
    • Tableau
    • Microsoft Power BI
    • Геоаналитика Qlik GeoAnalytics
    • Qlik NPrinting - рассылка отчетности QlikView/Qlik Sense
    • KliqPlanning Suite - бюджетирование в QlikView
    • ATK BiView-1C Коннектор (для Qlik/Tableau/PowerBI)
    • QlikView/Qlik Sense SAP Коннектор
    • QlikView R-Коннектор
    • Qlik Web Connectors - коннектор Google, Facebook, Twitter
    • Vizlib Qlik Sense extentions (библиотека экстеншнов)
    • Библиотека extention для Qlik
    • Qlik Alerting
    • Qlik Data Integration Platform - создание Data Lake
    • Qlik Data Catalog решение для Data Governance
    • ATK BiView документация
  • Услуги
    • Консалтинг
    • Пилотный проект
    • План обучения и сертификации
    • Подготовка специалистов по Qlik
    • Бесплатное обучение Qlik
    • Сертификация Qlik
    • Поддержка
    • Технические задания
    • Сбор требований для проекта внедрения BI-системы
    • Аудит приложений Qlik и Tableau
    • Разработка BI Стратегии
    • Styleguide для BI-системы
    • Как выбрать BI-систему
  • Курсы
    • Учебный курс по Qlik Sense
    • Учебный курс по Tableau
    • Учебный курс по Microsoft Power BI
    • Учебный курс Информационная грамотность (Data Literacy)
    • Учебный курс Современная архитектура хранилища данных
    • Учебный курс для бизнес-аналитиков
    • Учебный курс по NPrinting
    • Учебный курс по BigQuery
    • Учебный курс по Azure Databricks
    • Учебный курс по DWH
    • Учебный курс по Data Governance
    • Учебный курс по Data Science (ML, AI)
    • Учебный курс администратора Qlik Sense
  • Компания
    • Руководство
    • Новости
    • Клиенты
    • Карьера
    • Скачать
    • Контакты
Главная » Другие решения и материалы

Что такое DataOps?

Что такое DataOps?

DataOps (DATA Operations, датаопс), по аналогии с DevOps (DEVelopment Operations, девопс) — это концепция и набор практик непрерывной интеграции данных между процессами, командами и системами для повышения эффективности корпоративного управления или отраслевого взаимодействия за счет распределенного сбора, централизованной аналитики и гибкой политики доступа к информации с учетом ее конфиденциальности, ограничений на использование и соблюдения целостности. 

Как все началось: предпосылки появления DataOps

Термину DataOps еще не исполнилось 5 лет, а он уже активно используется в ИТ-мире. Впервые это понятие прозвучало в 2015 году, а затем стало тиражироваться в контексте цифровизации и построения компаний, управляемых данными (data-driven enterprise) на примере Facebook.
Если главной целью DevOps считается быстрая и непрерывная поставка бизнесу работающего программного обеспечения, то DataOps предполагает оперативное и безбарьерное предоставление актуальных и рабочих данных каждому участнику корпоративных процессов. Это означает устранение когнитивных, временных и организационных разрывов между исследователями данных (data scientist’ы), бизнес-аналитиками, разработчиками, руководителями и пользователями Big Data.
Такая демократизация данных повышает скорость реакции на любые изменения, что весьма актуально для современного бизнеса и соответствует принципам Agile. Большие данные нестатичны, поэтому нужны не только надежные и быстрые технологии их обработки, необходима гибкость прикладных и управляющих процессов, изменение корпоративной культуры, когда информация становится главной ценностью и основным средством осуществления деятельности. Иначе, какой смысл, например, от высочайшего качества аналитических моделей машинного обучения (Machine Learning), которые разработал data scientist, если эта информация вовремя не передана лицам, использующим ее для текущей работы или принятия стратегических решений?
В свою очередь, непрерывная аналитика данных в течение всего жизненного цикла повышает не только их значимость для бизнеса, но и обеспечивает лучшую защиту информации от утечек и других нарушений информационной безопасности за счет согласованной политики доступа.

DataOps: непрерывная аналитика Big Data

Методы и средства реализации датаопс в Big Data
Аналогично DevOps, когда разработка и эксплуатация интегрированы в единый процесс взаимодействия специалистов по кодированию, тестированию, развертыванию и поддержке, DataOps реализует идею непрерывной интеграции, доставки и обработки данных. Для этого в Big Data проектах используются методы Agile (Scrum, Kanban и их разновидности), командные системы управления проектами, средства управления версиями (GitHub и пр.), технологии контейнеризации и виртуализации (Docker, Rocket, Kubernetes и т.д.), а также технические решения для управляемого конвейера данных.
Data-driven company, конвейер данных, цифровое предприятие, цифровизация, процессы жизненного цикла данных
 
Конвейер данных в data-driven company
Для бесперебойной работы конвейера данных цифрового предприятия (data-driven company) его ИТ-инфраструктура должна обеспечивать следующие процессы:
  • оркестрация информационных потоков — движение Big Data по маршрутной карте с описанием всех источников данных, моделей их представления и интеграции, а также шагов процесса анализа. Для этого можно использовать Apache Oozie (планировщик процессов заданий Apache Hadoop), BMC Control-M (решение по автоматизации пакетной обработки, DataKitchen (платформа DataOps поддержки всего цикла аналитической обработки, сокращающая время подготовки и доставки данных нужного качества), Reflow (система инкрементальной обработки данных в облаке с помощью произвольных программ, упакованных в контейнеры Docker).
  • автоматизированное тестирование и обеспечение качества данных — проверка и очистка информации на каждом этапе ее обработки. Возможно применение ICEDQ (ПО для автоматизации тестирования при работе с ETL-хранилищами и средствами миграции данных), Naveego (облачная платформа для построения информационных панелей и витрин с целью мониторинга состояния данных и управления исключениями).
  • автоматическое распределение — непрерывное перемещение кода и конфигураций по всем этапам CRISP-DM, от постановки задачи с позиции бизнеса до внедрения. Здесь следует использовать инструменты DevOps, например, Jenkins для непрерывной поставки ПО с автоматическим контролем всех этапов жизненного цикла приложения от написания кода к сборке, автоматическому тестированию и развертыванию в эксплуатационных средах.
  • развертывание моделей данных и управление «песочницами» — формирование воспроизводимых сред работы с данными с помощью DevOps: бесшовная интеграция, ускорение процессов извлечения данных для бизнеса, разработки и развертывания приложений и аналитических моделей (Domino, Open Data Group, DSFlow).
  • виртуализация данных и управление тестовыми данными, включая их защиту и мониторинг производительности (Delphix, Redgate).
  • Интеграция и унификация данных, в т.ч. с использованием Machine Learning (Tamr, Switchboard Software).
  • мониторинг и управление производительностью локальных и облачных решений — наблюдение за текущими процессами хранения и обработки больших данных, а также выявление аномалий. Возможно применение SelectStar (мониторинг баз данных), Unravel (средство управления производительностью и работой с приложениями и платформами Big Data); MapR (конвергентная платформа работы с большими данными, объединяющая инструменты аналитики реального времени и операционные бизнес-приложения), Quobole (облачная платформа Вig Data as a Service).

Процессы датаопс и девопс

За встраивание этих средств в корпоративную ИТ-инфраструктуру и поддержку других технологий больших данных отвечают DevOps- и DataOps-инженеры.
 
Курс "Information Management, Data Governance и BI-стратегия"
 
Узнать стоимость решения  

Решения

Анализировать ФинансыУвеличивайте ПродажиОптимальный Склад и ЛогистикаМаркетинговые Метрики

Клиенты

  • Макро Групп

    Анализ эффективности отдела по работе с клиентами; анализ эффективности работы отдела закупок; анализ эффективности и качества работы поставщиков; анализ внутренней и внешней логистики; анализ ключевых показателей деятельности компании; визуализация финансовых потоков внутри группы компаний; анализ управления дебиторской/кредиторской задолженностями; анализ эффективности управления складом.

  • InterStep

    Анализ продаж по принципу «от общего к частному»; анализ соответствия продаж клиентов «идеальной матрице»; анализ эффективности управления складом; план-фактный анализ; реализация моделей прогнозирования продаж и закупок.

  • Ascott Group

    Анализ и прогнозирование продаж, анализ каналов сбыта, планирование и управление продажами, анализ эффективности маркетинговых акций.

  • InterZet

    Анализ деятельности отдела маркетинга; сегментация клиентских баз; расчет специфичных показателей эффективности деятельности компании сегмента telecom

  • Решения
    • Дистрибуция
    • Розничная торговля
    • Производство
    • Операторы связи
    • Банки
    • Страхование
    • Фармацевтика
    • Лизинг
    • Логистика
    • Медицина
    • Нефтегазовый сектор
    • Сеть ресторанов
  • Продукты
    • Qlik Sense
    • QlikView
    • Tableau
    • Microsoft Power BI
    • ATK BiView-1C Коннектор (для Qlik/Tableau/PowerBI)
    • Vizlib Qlik Sense extentions (библиотека экстеншнов)
    • NPrinting
    • Геоаналитика Qlik GeoAnalytics
    • KliqPlanning Suite
    • Qlik WebConnectors
    • QlikView R Коннектор
    • QlikView/Qlik Sense SAP Коннектор
    • Alteryx
    • Qlik Data Catalog
    • Документация ATK BiView
  • Услуги
    • Консалтинг
    • Пилотный проект
    • Поддержка
    • План обучения и сертификации Qlik
    • Бесплатное обучение
    • Учебные курсы
    • Сертификация Qlik
    • Аудит приложений
  • Курсы
    • Учебный курс по Qlik Sense
    • Учебный курс по Tableau
    • Учебный курс по Microsoft Power BI
    • Учебный курс Современная архитектура хранилища данных
    • Учебный курс Информационная грамотность
    • Учебный курс для бизнес-аналитиков
    • Учебный курс по NPrinting
    • Учебный курс по Azure Databricks
    • Учебный курс по Google BigQuery
  • Компания
    • О нас
    • Руководство
    • Новости
    • Клиенты
    • Скачать
    • Контакты
  • Функциональные решения
    • Продажи
    • Финансы
    • Склад
    • HR
    • S&OP и прогнозная аналитика
    • Внутренний аудит
    • Геоаналитика
    • Категорийный менеджмент
    • Построение хранилища данных
    • Система управления KPI и BSC
    • Управление цепочками поставок
    • Маркетинг
    • Цифровая трансформация
    • Сквозная аналитика
    • Process Mining
QlikView Partner
LinkedInYouTubeVkontakteFacebook
ООО "Би Ай Консалт",
ИНН: 7811437757,
ОГРН: 1097847154184
199178, Россия,
Санкт-Петербург,
6-ая линия В.О., Д. 63, 4 этаж
Тел: +7 (812) 334-08-01
Тел: +7 (499) 608-13-06
E-mail: info@biconsult.ru