Как создать custom resource в Informatica EDC и перенести его в Axon
Этот туториал будет о том, как сконнектить то, что вендор коннектить не планировал. Речь пойдет о связи QlikSense c Informatica Enterprise Data Catalog (EDC) и Informatica Axon (Axon).
EDC – это умный каталог данных, который предоставляет единое представление метаданных, а Informatica Axon объединяет знания всех пользователей, позволяя выстроить и поддерживать в актуальном состоянии систему наиболее значимых для бизнеса информационных активов.
Зачем вообще их коннектить?
В Qlik Sense есть стримы, принадлежащие дирекциям, департаментам и отделам, каждый из этих стримов содержит набор дашбордов, например: считать трафик, количество пользователей в месяц, наиболее популярные услуги и прочее.
Количество стримов и дашбордов стремительно растет. Чтобы как-то ими управлять, ребятам из Qlik team приходилось вести каталог с паспортами дашбордов вручную на корпоративном портале. На это тратилось много времени и периодически возникали ошибки заполнения.
Встала задача — вести паспорта дашбордов в общем Каталоге данных, при этом максимально автоматизировать занесение информации:
- Расположение дашборда (Стрим- папка)
- Используемые источники
- Наборы мер и измерений
А ещё нам нужно было привязывать бизнес-термины к конкретным дашбордам для ответов на вопросы типа «А в каких дашбордах я могу посмотреть на Активную абонентскую базу?»
Дано:
- QlikSense v14.5.7
- Informatica Enterprise Data Catalog v10.4.1
- Informatica Axon v7.1
Прежде, чем начать: про технику
Мы создали шаблон паспорта дашборда в каталоге, нарезали поля для автоматического заполнения, поля для заполнения пользователями вручную, пропустили шаблон через Qlik team и начали автоматизировать.
Ход процесса
Встроенный коннектор EDC предполагает поддержку версии QlikSense только 2019 года, а на дворе у нас был февраль 2021. Вариант с даунгрейдом не рассматривался, доработка от вендора заняла бы непрогнозируемое количество времени. EDC предлагает возможность разработать коннектор к системам самостоятельно.
Вот наши шаги:
1. Первое, что понадобится
— это создать custom model, которая отображала бы всю структуру, взаимосвязи между объектами, классы и их описание. У нас она выглядит так (часть модели):
Вот так
В данном случае модель основана на двух интегрированных системных моделях: Core и BI (Business intelligence)
2. Теперь нужно создать и загрузить модель в каталог
Экспортировать шаблон файлов links.csv (связи метаданных внутри ресурса) и objects.csv (атрибуты для всех классов) и заполнить согласно структуре qlik.
Теперь, когда описание готово, мы можем проверить насколько верно и согласованно все выполнено с помощью утилиты валидации. Возможно, результат будет выглядеть так, и нужно будет исправить ошибки:
validate.sh --model "/tmp/val/qlik1.zip" --metadata "/tmp/val/metadata.zip" --mem low
Но в итоге отчет станет таким:
All Validations Passed Successfully. You can now upload the files. Cheers.
3. Cоздать custom resource в каталоге, куда нужно сложить модель и мету (links+objects).
Переходим в EDC LDMAdmin-New-Resource, создаем ресурс с именем Custom_Qlik, прикрепляем архив с нашими заполненными csv-файлами
Нажимаем save and run, и через некоторое время видим, что сканирование ресурса завершено успешно.
Проверяем в EDC Ldmcatalog, что у нас получилось, вводим в строке поиска qlik и видим, что наш дашборд Revenue Month появился, а также отображается кастомный ресурс Custom_Qlik, и все это собрано в глоссарий GlossaryforQlik.
Проваливаемся в глоссарий, где видим структуру, которая описана в модели.
4. Так как поля в модели кастомные и в Axon их не существует, нужно их туда пронести с помощью файла custom_edc_fields.yml (на скриншоте часть файла). Здесь описаны классы и родительские связи между объектами.
Файл нужно положить на сервер, применить изменения и проверить, появились ли эти объекты в Axon. Переходим в Поиск-Создать-Управление ссылками каталога, выбираем тип ресурса Custom_Qlik (как назван в EDC) и видим, что все наши объекты, отражающие структуру дашборда и описанные в модели, появились в Axon.
Благодаря этим упражнениям мы смогли создать и наполнить бизнес-смыслом описание для стримов и дашбордов в Каталоге данных и сделать поиск в клике для пользователей проще, удобнее и быстрее. Теперь в паспорте мы видим, какие меры и измерения в нем содержатся, ответственного за стрим/дашборд, у нас есть ссылка стрим и ссылка для запроса доступа.
Стоит сказать, что похожие кейсы в зарубежных источниках нам не удалось найти, поэтому вот метка для гугла: how to create custom model and custom resource in Informatica EDC.