Создание Data Lake и Data Engineering
Консалтинг по современной архитектуре данных (Data Engineering)
Мы поможем вам сэкономить время в вашей организации с помощью современной архитектуры данных, помогая вашим командам быстро находить и унифицировать ваши данные с помощью различных технологий хранения и платформ цифрового маркетинга. Мы поможем вам собирать, преобразовывать и передавать полезные данные бизнес-командам, чтобы помочь им принимать мудрые решения от имени вашей компании.
Разработка модели данных
Хорошая модель данных помогает правильно хранить данные и получать к ним доступ по мере необходимости. Существуют различные стратегии и тактики разработки моделей данных. Мы поможем Вам выбрать и реализовать лучший для Вашей компании и бизнес-целей.
Интеграция данных и разработка конвейера данных
Мы поможем вам с интеграцией данных из различных источников, чтобы вы могли иметь единое представление о ключевых показателях при принятии решений. Мы можем создать конвейеры данных для извлечения информации из этих различных источников для обмена с вашим хранилищем данных или другим инструментом или приложением цифрового маркетинга, чтобы это могло оказать большее влияние на ваш бизнес.
Подготовка данных и ETL для отчетности
Data Prep и ETL (извлечение, преобразование, загрузка) помогают преобразовать ваши данные (поступающие из различных источников и форматов) в общую архитектуру, чтобы подготовить их к анализу и отчетности. Мы помогаем с внедрением и обучением в этой области и помогаем вам создавать наборы данных для улучшения оптимизации коэффициента конверсии (CRO).
Большие данные и облачные технологии
Ваши данные замедляют вас? Вам нужен более эффективный способ хранения и доступа к вашим данным? Вам нужны данные, чтобы предоставить информацию для вашего бизнеса, но ресурсам инженерии данных может быть трудно соответствовать темпу бизнеса. Данные должны собираться,храниться, получаться в режиме, близком к реальному времени, и доступны в различных форматах (числовой, текстовый, даты и т. Д.). Мы помогаем с внедрением и управлением большими данными и облачными технологиями, чтобы как можно быстрее получить отдачу от ваших данных.
|
Процесс |
Действия |
Инструмент |
|
Миграция |
Создание нового DWH |
|
|
Формирование архитектуры нового хранилища |
Qlik Compose |
|
|
Перенос данных from local in cloud/other local |
SQL Server Migration Assistant (for azur) |
|
|
Extracting data from systems/database |
Создание "канала" получения данных из source |
from RDBMS: ViXtract (script interface), Qlik Compose (visual interface) (мало возможных подключений) |
|
Настройка и автоматизирование |
from noSQL: |
|
|
Обработка данных |
Структурирование данных |
DBT, ViXtract (script interface), Jupiter(Python) (script interface), RDBS(SQL) (script interface), Qlik Compose (visual interface) |
|
Очисткой от «шумов» — невалидной информации |
||
|
Приведение их к единому формату |
||
|
Обогащение (при необходимости) |
noSQL |
|
|
создание витрин данных |
||
|
Load in Local/Cloud DWH/DL, BI |
Сохранение/передача обработанных данных на: |
in Local DWH: Hadoop, Spark, Qlik Compose(ограничено) |
|
in Cloud DWH: Qlik Compose |
||
|
in Local/Cloud DL: Qlik Compose |
||
|
in BI: ViXtract, QlickSAP connector… |
||
|
Transfer to cloud |
Создание "канала" передачи данных |
Qlik Replicate |
|
Настройка и автоматизирование |
Таким образом, инженер данных (Data Engineer) выполняет следующие операции:
- Организация автоматизированного сбора данных из различных источников в единое централизованное хранилище (Data Warehouse) или озеро данных (Data Lake);
- Перемещение и хранение информационных массивов;
- Настройка, интеграция и создание витрин данных для работы аналитиков и исследователей;
- Создание конвейеров регулярной и непрерывной подготовки данных (CI/CD pipelines);
- Контроль и повышение качества данных.
- Выбор наиболее подходящей архитектуры, использующейся для хранения информации;
- Создание инфраструктуры, обрабатывающую данные, и поддержкой ее функционирования;
- Устранением в полученной системе ошибок и багов;
- Структурированием данных, очисткой от «шумов» — невалидной информации, — приведением их к единому формату;
- Постоянным совершенствованием системы хранения и обработки данных, улучшением ее характеристик (например, увеличением скорости извлечения данных) и расширением возможностей для более быстрой и точной работы с Big Data;
- Настройкой кластера на десятки или сотни серверов для хранения и обработки данных;
- Контролем и поддержкой различных потоков данных и связанных с ними систем (мониторинг алертов, уведомляющих об изменениях, произошедших в системе, что позволяет вовремя среагировать на проблему).
Data Engineer - профессиональные знания и навыки:
- алгоритмы и структуры данных;
- принципы хранения информации в SQL и NoSQL, а также умение работать с реляционными и нереляционными базами данных (MySQL, MSSQL, PostgreSQL, MongoDB, SQL Server, Oracle, HP Vertica, Amazon Redshift и т.д.)
- ETL-системы (Informatica ETL, Pentaho ETL, Talend и пр.);
- облачные платформы для Big Data решений (Amazon Web Services, Google Cloud Platform, Microsoft Azure и другие подобные решения от крупных PaaS/IaaS-провайдеров);
- стек Apache Hadoop (HDFS, HBase, Cassandra) и SQL-движки для анализа данных, хранящихся в распределенных файловых системах типа HDFS (Apache Hive, Impala и пр.);
- кластеры Big Data на базе Apache (Hadoop, Kafka, Spark);
- языки программирования (Python, Java, Scala) для работы с Big Data системами.
Стек технологий:
|
1 |
Qlik DataTransfer |
отправка данных и файлов в Qlik Sense для анализа |
|
2 |
Qlik Replicate |
создание копии (с обработкой) данных на альтернативный ресурс для возможности анализа |
|
3 |
Qlik Compose |
Интеграция исходных данных в режиме реального времени |
|
4 |
Qlik Enterprise Manager |
объединение в единый интерфейс п.2 и п.3 |
|
Google Cloud Platform |
Amazon Web Services |
Microsoft Azure |
Oracle Cloud |
|
Google Compute Engine |
Amazon EC2 |
Azure Virtual Machines |
Oracle Cloud Infra OCI |
|
Google App Engine |
AWS Elastic Beanstalk |
Azure Cloud Services |
Oracle Application Container |
|
Google Kubernetes Engine |
Amazon EC2 Container Service |
Azure Container Service |
Oracle Kubernetes Service |
|
Google Cloud Functions |
AWS Lambda |
Azure Functions |
Oracle Cloud Fn |
|
Google BigQuery |
Amazon Redshift |
Microsoft Azure SQL Database |
Oracle Autonomous DataWarehouse |
|
Google Cloud Bigtable, |
Amazon DynamoDB |
Azure Cosmos DB |
Autonomous NoSQL |
|
Google Cloud Datastore |
|||
|
Google Cloud Storage |
Amazon S3 |
Azure Blob Storage |
Oracle Cloud Storage OCI |
Еще по теме: Создание Data Lake 2
Вы получите:
- источники – sources;
- настройки каналов – pipelines;
- регулярность обновлений – schedulers;
- владельцы – custodians;
- время хранения – retention time;
- метаданные – другие “данные о данных”.
