Qlik Data Integration Platform
Как создать Data Lake? Внедрить "озеро данных"?
Чтобы стать лидером в эпоху цифровых технологий, каждому в вашем бизнесе необходим легкий доступ к самым последним и наиболее точным данным. Qlik обеспечивает подход DataOps, значительно ускоряя обнаружение и доступность данных в реальном времени, готовых для аналитики, за счет автоматизации потоковой передачи данных (CDC), уточнения, каталогизации и публикации.
Qlik Data Integration (ранее – Attunity), которые позволяют модернизировать и автоматизировать интеграцию данных в реальном времени, значительно повысив производительность и маржинальность BI-проектов.
Преимущества продуктов по интеграции данных от Qlik:
• Автоматизация процесса доставки данных, которые уже готовы для аналитики
• Удобные каталогизация, инвентаризация, поиск и масштабируемый доступ к данным для использования
• Прозрачное взаимодействие между системами on-premise и облачными средами (в том числе AWS, Google, Microsoft, Snowflake или Databricks).
Значительное повышение производительности происходит за счет экономии ИТ затрат на построение и управление вручную созданием, форматированием, объединением, мэппингом и поддержкой аналитических конвейеров данных.
Решения Qlik Data Integration (ранее – Attunity) используют более 2.500 заказчиков, включая половину из списка Fortune 100.
0. КАТАЛОГ ДАННЫХ (ДАТА КАТАЛОГ)
Qlik Catalog (ранее – Qlik Data Catalyst) – это единый корпоративный каталог данных с поиском и удобным доступом к наборам данных, вне зависимости от того, где они находятся. Позволяет создать для пользователей «маркетплейс» данных, готовых для анализа.
1. СЛАЙСИНГ SAP СРЕД
(Qlik SAP Gold Client) это развертывание тестовой среды для SAP-инсталляций, которая может серьёзно ускорить создание тестовых сред, без необходимости «гасить» продуктивную среду, а так же сократить объем данных для тестовых средств, переливая не все данные, как стандартные решения, а, например, только по одной компании или только за один год.
Особенности:
- слайсинг любой SAP среды в необходимом объёме (аналогов нет!), без необходимости копировать среду целиком (создание TEST и DEV сред, «песочниц»)
- единый «cockpit» для централизованного управления всеми SAP средами
- авто-скрамблинг данных, контроль качества и другие функции для обеспечения GDPR («Генеральный регламент о защите персональных данных»)
- это нативный инструмент, написанный на языке SAP ABAP, и сертифицированный SAP
Выгоды:
- экономия времени сотрудников на автоматизации создания и администрирования TEST и DEV сред
- экономия на инфраструктуре за счет уменьшения объема создаваемых сред
- ускорение пилотирования и time-to-value за счет ускорения подготовки сред и уменьшения времени обработки данных (quality assurance) за счет уменьшения объёма данных
2. РЕПЛИКАЦИЯ ДАННЫХ REAL-TIME
(Qlik Replicate) – CDC, онлайн репликация. Но, в отличие от других продуктов, Replicate позволяет не только реплицировать данные, но и структуру таблиц онлайн (!) – это уникальное преимущество, в остальных продуктах это ближе к bulk, т.е. есть временные лаги.
Особенности:
- гетерогенная репликация из множества различных источников в множество различных приемников (не только из однородных систем)
- беспрецедентные скорости репликации с технологией CDC и собственными патентами, не имеющими аналогов
- единый «cockpit» для управления pipeline данных
- максимальная автоматизация для минимального SLA реализации задачи: минимум кода, максимум best practice micro services, простота управления, drag/drop подход
- автоматически реплицирует структуру данных, например DDL схему (dynamic data language)
Use cases:
- остатки на складах в real-time (для себя и для клиентов)
- real-time данные для CRM (для омниканальности в КЦ, в отделениях, в чате) и для сложных рекомендательных push (в интернет банке например) или для push по событию
- данные о работе эффективности склада почти в real-time (разница в десяток секунд между появлением даных в основном хранилище и обновлением данных в реплике)
3. АВТОМАТИЗАЦИЯ ВИТРИН ДАННЫХ
(Qlik Compose) ELT с возможностью проверки правил, объединения источников и возможностью создания дополнительных вычисляемых полей. Визуальное кодирование, что существенно повышает скорость построения хранилищ и простоту сопровождения проекта. Есть две версии Qlik Compose – для гибкого хранилища данных и для озера данных.
Особенности:
- это оркестратор (аддон к репликатору выше), который собирает все витрины в автоматическом режиме, без необходимости программировать ETL
- к нему применимы все особенности репликатора выше
Изучайте презентацию Qlik про управление (файл Qlik DataOps_v.1.0 в разделе "скачать") - DataOps (DATA Operations, датаопс), по аналогии с DevOps (DEVelopment Operations, девопс) — это концепция и набор практик непрерывной интеграции данных между процессами, командами и системами для повышения эффективности корпоративного управления или отраслевого взаимодействия за счет распределенного сбора, централизованной аналитики и гибкой политики доступа к информации с учетом ее конфиденциальности, ограничений на использование и соблюдения целостности.
Data Streaming (CDC) - Потоковая передача данных (CDC)
Доставка потоковых данных в режиме реального времени Простое и универсальное решение распространяет корпоративные данные в режиме реального времени.
Захват изменения данных Простое решение в режиме реального времени для постоянного захвата и репликации корпоративных данных в нужное время и в нужном месте.
Широкая поддержка источников и целей Поддержка самой популярной в отрасли платформы обеспечивает единое решение для интеграции данных.
Мониторинг и управление по всему предприятию Командный центр для настройки, выполнения и мониторинга интеграционных задач по всему предприятию
Захват изменения данных в реальном времени
Qlik перемещает данные в режиме реального времени от источника к цели, и все это управляется с помощью простого графического интерфейса, который полностью автоматизирует сквозное копирование. Благодаря упрощенной конфигурации без использования агентов, инженеры по работе с данными могут легко настраивать, контролировать и отслеживать каналы передачи данных на основе ведущей технологии захвата изменения данных (CDC).
- Захват изменения данных на основе журнала
- Архитектура с нулевым отпечатком
- Оптимизированно для облаков
Широкая поддержка источников, целей и платформ
Qlik Replicate™ (ранее Attunity Replicate) поддерживает широчайший диапазон источников и целей, позволяя вам загружать, захватывать, мигрировать, распределять, консолидировать и синхронизировать данные как на собственном оборудовании, так и в облачных или гибридных средах. В том числе:
- СУБД: Oracle, SQL, DB2, MySQL, Sybase, PostgreSQL.
- Хранилища данных: Exadata, Teradata, IBM Netezza, Vertica, Pivotal, MS SQL Data Warehouse
- Облако: AWS, Azure, Google Cloud.
- Hadoop: Apache, Cloudera, Hortonworks, MapR.
- Потоковые платформы: Apache Kafka, Confluent
- Приложения для предприятий: SAP
- Наследие: IMS/DB, DB2 z/OS, RMS, VSAM
- Полный список вариантов подключения см. в матрице поддержки.
Qlik Enterprise Manager™ (ранее Attunity Enterprise Manager): Мониторинг и контроль в масштабах предприятия
Проектируйте, выполняйте и контролируйте тысячи интеграционных задач в распределенных центрах обработки данных и облачных средах, что позволяет легко масштабировать и контролировать поток данных в режиме реального времени с помощью KPI и оповещений.
- Централизованное управление
- Оптимизированная производительность и использование ресурсов
- Открытые API для REST и .NET
Data Warehouse - Хранилище данных
Платформа Qlik Data Integration автоматизирует весь жизненный цикл хранилища данных для ускорения доступности готовых к анализу данных. Инженеры по работе с данными могут создавать модели данных, добавлять новые источники и предоставлять новые витрины данных. Автоматизация хранилища данных (DWA) обеспечивает успех на каждом этапе процесса - от моделирования данных и ввода данных в режиме реального времени до витрин данных и управления.
Прием и обновление данных в режиме реального времени
- Простое и универсальное решение для постоянного ввода данных предприятия в популярные хранилища данных в режиме реального времени.
- Автоматизированное и непрерывное совершенствование
- Модельный подход для быстрого проектирования, строительства и управления специально построенными хранилищами данных на собственном оборудовании или в облаке.
- Доверенные, готовые к работе на предприятии данные
- Предоставьте интеллектуальный корпоративный каталог данных для безопасного совместного использования всех полученных вами наборов данных, витрин и т.д. с бизнес-пользователями.
Загрузка и обновление данных в режиме реального времени
Захват изменения данных обеспечивает опорную сеть в режиме реального времени для ускорения перемещения данных в Ваше хранилище из самых разнообразных гетерогенных баз данных, озер данных и корпоративных источников, таких как мейнфреймы и SAP. Воспользуйтесь преимуществами:
- Изменение потоков захвата данных
- Универсальные источники, цели и платформы
- Мониторинг и контроль в масштабах всего предприятия
Qlik Compose™ for Data Warehouses (ранее Attunity Compose): Автоматизированное и непрерывное совершенствование
Qlik обеспечивает современный подход к оптимизации создания и эксплуатации хранилища данных. Мы автоматизируем проектирование хранилища, генерируем ETL код и применяем обновления, используя при этом передовой опыт. Это значительно сокращает время, затраты и риски, связанные с созданием гибкого хранилища данных:
- Интеллектуальный, основанный на модели рабочий процесс
- Автоматизированная генерация ETL, набора полей и скрипта витрины данных
- Управление изменениями и их распространение
Automation Data Lake Creation - Автоматизация создания озер данных
Платформа Qlik Data Integration для управляемых озер данных автоматизирует процесс предоставления постоянно обновляемых, точных и достоверных наборов данных для бизнес-аналитики. Инженеры по работе с данными могут быстро добавлять новые источники и обеспечивать успех на каждом этапе процесса управления данными, начиная с ввода данных в режиме реального времени и заканчивая их уточнением, инициализацией и управлением.
Быстрое проектирование, развертывание и управление данными в Agile Data Lake без написания кода.
Qlik Replicate™ (ранее Attunity Replicate): Потоки данных в реальном времени для более быстрого и глубокого понимания.
Захват изменения данных обеспечивает опорную сеть в режиме реального времени для ускорения перемещения данных к вашему озеру данных из самых разнообразных гетерогенных баз данных, хранилищ данных и корпоративных источников, таких как мейнфреймы и SAP.
- Захват изменения данных
- Универсальные источники, цели и платформы
- Мониторинг и контроль в масштабах всего предприятия
Qlik Compose™ для Data Lakes (ранее Attunity Compose): Автоматизированное и непрерывное совершенствование
Qlik стандартизирует и объединяет потоки изменений в единое хранилище готовых к преобразованию данных в озере данных. Он автоматически объединяет данные из нескольких таблиц и/или источников в гибкий формат и структуру, сохраняя при этом полную историю. Полученная в результате непрерывная история данных обеспечивает потребителям данных быстрый доступ к доверенным данным, включая полное происхождение, без необходимости понимания автоматизированной структуризации, которая имела место.
- Автоматизация и оркестровка потоков
- Устойчивый и самовосстанавливающийся
- Подготовка и предоставление в масштабе
Qlik Data Catalog: Доверенные, готовые к использованию на предприятии данные
Qlik Data Catalog® создает безопасный корпоративный каталог всех данных в Вашем озере данных и во всей Вашей организации, независимо от того, где они находятся. Бизнес-пользователи получают единую площадку для доступа к данным, позволяющую легко находить, понимать и использовать любой источник корпоративных данных для получения информации.
- Интеллектуальный интегрированный каталог данных
- Безопасность и управление
- ИТ и деловое сотрудничество
Что такое Qlik Data Catalyst
