BI Consult
  • Перейти на QlikSense
  • Перейти на QlikView
  • Перейти на Tableau
  • Перейти на Power BI
  • Контакты
  • +7 812 334-08-01
    +7 499 608-13-06
  • EN
  • Отправить сообщение
  • Главная
  • Продукты Business-Qlik
    • Дистрибуция
    • Розничная торговля
    • Производство
    • Операторы связи
    • Страхование
    • Банки
    • Лизинг
    • Логистика
    • Нефтегазовый сектор
    • Медицина
    • Сеть ресторанов
    • Энергетика
    • Фрод-менеджмент
    • E-Commerce
    • Фармацевтика
    • Построение хранилища данных
    • Создание Data Lake
    • Цифровая трансформация
    • Управление по KPI
    • Финансы
    • Продажи
    • Склад
    • HR
    • Маркетинг
    • Внутренний аудит
    • Категорийный менеджмент
    • S&OP и прогнозная аналитика
    • Геоаналитика
    • Цепочки поставок (SCM)
    • Process Mining
    • Сквозная аналитика
  • Платформы
    • Qlik Sense
    • QlikView
    • Tableau
    • Microsoft Power BI
    • Геоаналитика Qlik GeoAnalytics
    • Qlik NPrinting - рассылка отчетности QlikView/Qlik Sense
    • KliqPlanning Suite - бюджетирование в QlikView
    • ATK BiView-1C Коннектор (для Qlik/Tableau/PowerBI)
    • QlikView/Qlik Sense SAP Коннектор
    • QlikView R-Коннектор
    • Qlik Web Connectors - коннектор Google, Facebook, Twitter
    • Vizlib Qlik Sense extentions (библиотека экстеншнов)
    • Библиотека extention для Qlik
    • Qlik Alerting
    • Qlik Data Integration Platform - создание Data Lake
    • Qlik Data Catalog решение для Data Governance
    • ATK BiView документация
  • Услуги
    • Консалтинг
    • Пилотный проект
    • План обучения и сертификации
    • Подготовка специалистов по Qlik
    • Бесплатное обучение Qlik
    • Сертификация Qlik
    • Поддержка
    • Технические задания
    • Сбор требований для проекта внедрения BI-системы
    • Аудит приложений Qlik и Tableau
    • Разработка BI Стратегии
    • Styleguide для BI-системы
    • Как выбрать BI-систему
  • Курсы
    • Учебный курс по Qlik Sense
    • Учебный курс по Tableau
    • Учебный курс по Microsoft Power BI
    • Учебный курс Информационная грамотность (Data Literacy)
    • Учебный курс Современная архитектура хранилища данных
    • Учебный курс для бизнес-аналитиков
    • Учебный курс по NPrinting
    • Учебный курс по BigQuery
    • Учебный курс по Azure Databricks
    • Учебный курс по DWH
    • Учебный курс по Data Governance
    • Учебный курс по Data Science (ML, AI)
    • Учебный курс администратора Qlik Sense
  • Компания
    • Руководство
    • Новости
    • Клиенты
    • Карьера
    • Скачать
    • Контакты

QlikView / Qlik Sense

  • Qlik Sense
    • Возможности Qlik Sense
    • Qlik Sense Enterprise
    • Qlik Sense Desktop
    • Qlik Sense Saas облачная инфраструктура для компаний
    • Источники данных и хранение данных
    • Безопасность и разграничение прав доступа
    • Масштабируемость
    • Политика лицензирования Qlik Sense
    • Qlik Sense November 2021: новые возможности
    • Географические карты в Qlik Sense
    • Qlik Sense Cloud / Qlik Sense в облаке
    • Учебное пособие по Qlik Sense
  • QlikView
    • Архитектура
    • Отличия QlikView от традиционных BI-систем
    • Политика лицензирования QlikView
    • Системные требования и сайзинг
    • Отличие от OLAP-систем
    • QlikView on Mobile
    • Qlik и Big Data
    • Демонстрационные примеры
    • QlikView в "облаке" (Amazon) / QlikView in the cloud
    • Интеграция QlikView с Microsoft SharePoint
    • Учебное пособие по QlikView
    • Что такое QlikView Publisher
    • QlikView Extranet Server и дистрибуция отчетности внешним пользователям
  • Qlik Data Catalog
  • Qlik Alerting
  • Qlik Data Integration Platform
  • Add-ons для QlikView
    • Vizlib Qlik Sense extentions (библиотека экстеншнов)
    • QlikView/Qlik Sense ATK BiView-1C Коннектор
    • Документация ATK BiView
    • Qlik NPrinting
    • Геоаналитика Qlik GeoAnalytics
    • GeoQlik
    • KliqPlanning Suite
    • QlikView/Qlik Sense SAP Коннектор
    • QlikView R-Коннектор
    • Qlik Web Connectors
    • QlikView Cognos TM1 Коннектор
    • Визуализация графов в Qlik Sense с помощью Ogma / Linkurious
  • Учебный курс по Qlik Sense

Tableau

  • Tableau
    • Tableau Desktop
    • Tableau Server
    • Tableau Prep
    • Технологии
    • Источники данных Tableau
    • Безопасность в Tableau
    • Политика лицензирования
    • Tableau 2021: новые возможности
    • Сравнение продуктов Tableau (Desktop, Server, Online, Public)
    • Демонстрационные примеры
    • Учебный портал Tableau
    • Коробочное решение "Мониторинг Tableau Server"
    • Чем отличаются Tableau Reader и Viewer?
  • Учебный курс по Tableau

Другое

  • Microsoft Power BI
    • Power BI Desktop
    • Power BI Report Server
    • Отраслевые решения Microsoft Power BI
    • Политика лицензирования Microsoft Power BI
    • Power BI Mobile
    • Учебные курсы Microsoft Power BI
    • Архитектура Power BI
    • Обработка данных в Power BI
    • Аудит системы Power BI
  • Учебный курс по Microsoft Power BI
  • Alteryx
    • Alteryx Designer
    • Инструменты Alteryx Designer
    • Alteryx Server
    • Alteryx Analytics Gallery
    • Alteryx. Создание приложения, workflow, ETL
  • Data Engeneering
    • Создание Data Lake
    • Создание Data Warehouse
    • Учебный курс "Современная архитектура хранилища данных"
Главная » Курсы » Учебный курс администратора Qlik Sense

Анализ подключений к данным

Преимущества:

  • Понимание, кто является владельцем подключения к данным
  • Отслеживание использования подключения к данным.
  • Возможность аудита подключений к данным
  • Выявление устаревших подключений к данным.

 

Цель

Есть множество задач по управлению и курированию подключений к данным на сайте Qlik, особенно на уровне разработки, где множество опытных пользователей создают подключения к данным. По сути, цель состоит в том, чтобы сделать сайт Qlik Sense более компактным, производительным, с более простым и комплексным управлением.

 

Предварительные условия

Data Connection Analyzer

В этой статье рассматривается анализ подключений при помощи приложения «Data Connection Analyzer» («Анализатор подключений к данным»). С его документацией вы можете ознакомиться здесь: Data Connection Analyzer. Чтобы понять, почему этот инструмент необходим для этого процесса, обратитесь к разделу «Использование подключения данных» в статье «Удаление неиспользуемых подключений данных».

 

Какие подключения больше не используются?

Подключение к данным обнаружено в логе выполнения скрипта загрузки, и подключение к данным есть на сайте Qlik Sense, но приложения, которые ссылаются на это подключение к данным в своих скриптах, больше не существуют.

Подключения к данным часто становятся устаревшими или не используются с течением времени. Источник данных может меняться от одной базы данных к другой. Или, возможно, потребности в источнике данных уже нет. Используя это приложение, можно определить, какие подключения использовались внутри приложений Qlik, но эти приложения Qlik были удалены, при этом ни одно новое приложение Qlik не использует это подключение.

 

Как найти?

Перейдите к листу «Unused Connection Analysis» («Анализ Неиспользуемых Соединений»).

Если есть какие-либо подключения, которые попадают в эту категорию, они появятся в таблице «Connections that have been used, but the Apps have since been Deleted: X» («Подключения которые использовались, не приложения с тех пор были удалены). В приведенном здесь примере их 6.

 

Что с этим делать?

Если в таблице дата последнего использования (колонка «Last Used (Reloaded)») подключения ранее, чем за 90 дней от сегодня (или любой другой период, по истечение которого Вы будете считать подключение устаревшим), обратитесь к владельцу подключения данных, чтобы узнать, можно ли его поместить в карантин, а затем окончательно удалить. См. Раздел «Предлагаемые действия» в статье «Удаление неиспользуемых подключений к данным».

 

Какие подключения никогда не использовались?

Подключение к данным существует на сайте Qlik Sense, но ссылки на него нет ни в одном логе выполнения обновления данных приложения.

Обычно пользователи создают подключения к данным для проверки возможности подключения, но так и не используют их. Используя это приложение, можно обнаружить подключения, которые никогда не использовались и существовали в течение времени «x» (скажем, 90+ дней), чтобы можно было удалить их.

 

Примечание

Приложение «Data Connection Analyzer» использует в скрипте переменную с именем vNumLogDays, в которой указывается, за сколько дней приложение должно анализировать журналы. Если в этой переменной установлено значение, отличающееся от значения по умолчанию (9999), то возможна такая ситуация, когда подключение к данным использовалось ранее, но с момента его последнего использования прошло более vNumLogDays дней, и поэтому «Data Connection Analyzer» считает такие подключения неиспользуемыми. Если цель состоит в том, чтобы получить статистику за весь имеющийся в логах исторический период, убедитесь, что в переменной vNumLogDays установлено значение 99999, таким образом, настроен захват всех логов.

Если старые архивные логи архивируются (см.: «Архивирование старых архивных логов»), то это тоже необходимо учитывать, поскольку эти логи выполнения скриптов не будут анализироваться. Как правило, это вполне приемлемо, поскольку они обычно довольно старые, и, если подключение с тех пор не использовалось, можно с уверенностью сказать, что оно не используется и может быть удалено.

 

Как найти?

Перейдите к листу «Unused Connection Analysis» («Анализ Неиспользуемых Подключений»).

Если есть подключения, которые попадают в эту категорию, они появятся в таблице «Connections that have never been used in an App Reload» («Соединениях, которые никогда не использовались при обновлении данных в приложениях»). В данном примере их 27.

Что с этим делать?

Если в таблице дата создания (колонка «Created») подключения ранее, чем за 90 дней до сегодня (или любой другой период, по истечение которого Вы будете считать подключение устаревшим), обратитесь к владельцу подключения данных, чтобы узнать, можно ли его поместить в карантин, а затем окончательно удалить. См. Раздел «Предлагаемые действия» в статье «Удаление неиспользуемых подключений к данным».

 

 

В каких приложениях используются подключения к данным?

Представьте, что источник данных изменился, например, потому что был перемещен из одной базы данных в другую. Первый вопрос, который можно задать: «В каких приложениях используется это подключение, чтобы можно было заменить его на подключение к новой базе (чаще всего нужно заменить наименование подключение в скрипте загрузки данных приложения)?». Приложение «Data Connection Analyzer» позволяет выбрать соединение и увидеть приложения, которые его используют.

 

Как найти?

Перейдите к листу «Dashboard».

Выберите значение True в фильтре, следующем за KPI «Connections Used» («Используемые Подключения), чтобы выбрать все используемые подключения к данным.

Выберите одно подключение к данным, чтобы увидеть все приложения, в которых оно используется.

Если необходимо, наоборот, увидеть все подключения, которые используются в каком-то одном приложении, выберите это приложение.

Что делать?

Если подключение к данным устарело и не должно больше использоваться и/или должно быть заменено на другое, убедитесь, что выполняется описанный выше процесс поиска всех приложений, зависящих от этого подключения к данным, чтобы потом можно было внести соответствующие корректировки в скрипты загрузки данных в те приложения, где это требуется.

 

 

Есть ли у нас дублирующиеся подключения к данным?

В каждом подключении к данным хранится параметр «Connection string» («Строка подключения»), в котором зафиксированы настройки соединения с источником данных. Анализирую этот параметр, можно устранить повторяющиеся подключения к одним и тем же исходным данным. Это снижает накладные расходы на администрирование и гарантирует возможность повторного использования/согласованность в рамках всей платформы.

 

Как найти?

Перейдите к листу «Duplicate Analysis» («Анализа Дубликатов»).

В этом примере (см. следующее изображение) выбран тип подключения «Folder» («Папка»), и видно, что существует 2 дубликата подключения к одной и той эе папке. Из примера на следующем изображении, можно сделать следующие выводы:

  • Подключение к папке C:\QlikShare\QVD\
    • Имеет четыре дубликата у двух разных пользователей.
    • Используется двумя приложениями.
  • ПодключениеC:\QlikShare\SharedApps\ 
  • Имеет два дубликата у одного пользователя.
  • Не используется ни одним приложением.

Самое интересное, что эти подключения к папкам указывают на разные подкаталоги внутри одной и той же папки.

В следующем примере выбран тип QvOdbcConnectorPackage.exe, и видно, что есть одно подключение ODBC, которое имеет единственный дубликат. Также видно, что у подключения указан владелец, который является общим для подключений ODBC, чтобы гарантировать безопасность базы данных для отдельных пользователей, где сквозная аутентификация не является вариантом.

 

Что делать?

По возможности следует устранять дубликаты подключений. Свяжитесь с владельцами приложений и проверьте, какие приложения их используют. Решите, какие подключения должны стать основными для разработчиков, а после перехода на новое подключение убедитесь, что все приложения используют только его.

 

 

Какие подключения из тех, которые раньше использовались, были удалены?

Анализируя логи загрузки, можно обнаружить устаревшие имена подключений к данным, которые уже удалены.

 

Как найти?

Перейдите на лист  «Dashboard».

Выберите значение True  в фильтре рядом с KPI «Connections Only Found in Script» («Подключения, найденые только в скрипте»). Визуализация «Connections by Type» («Подключения по типу») теперь будет отображать все соединения, которые были обнаружены в логах обновления данных, но не были найдены в QRS.

Что делать?

В данном случае нет необходимости в каких-то прямых действиях, так как эта деятельность полезна в контексте аудита. Используйте при необходимости.

 

 

Какие подключения к данным используются чаще всего?

В зависимости от того, как развернуто приложение «Data Connection Analyzer», оно будет либо только для администрирования, либо видимым для разработчиков. Этот показатель важен как в административном, так и в «социальном» плане во всей организации.

 

Как найти?

Перейдите на страницу «Usage» («Использование»).

Найдите таблицу «Connection # Times Used (Script Logs) » («Количество использованных подключений (логи скриптов)»). В этой таблице отображается количество логов выполнения скриптов обновления данных, в которых обнаружено каждое подключение.

Выберите подключение, и в визуализация Вы увидите, какие приложения его использовали и когда, а также при каких типах обновления (задача, вручную, API).

В правом верхнем углу можно выбрать фильтр «Executed by» («Выполнено»), чтобы увидеть, какие пользователи использовали подключение к данным.

  • INTERNAL\sa_scheduler при обновлении данных с помощью задач
  • INTERNAL\sa_api при обновлении данных с помощью API (ODAG или другие)
  • Учетные записи конечных пользователей  - при выполнении обновления из Хаба

Что делать?

В данном случае нет необходимости в каких-то прямых действиях, так как эта деятельность полезна в контексте аудита. Используйте при необходимости.

 

 

Кто и какие подключения к данным использует?

В то время как «Пользователь A» может владеть «Подключением к данным A», «Пользователь B» может иметь доступ на чтение к этому подключению. Это, конечно, можно увидеть в QMC с помощью функционала аудита, однако, это приложение покажет, кто точно выполнял перезагрузку данных с использованием конкретного подключения. А это обеспечивает большую видимость и позволяет выполнять более глубокий аудит и управление.

 

Как найти?

Процесс поиска ответа на этот вопрос рассматривается в разделе «Какие подключения к данным используются чаще всего?» и в разделе выше, а также это можно сделать, перейдя на лист «Usage» («Использование») и использовав соответствующий фильтр «Executed by» («Выполнено»).

 

Что делать?

В данном случае нет необходимости в каких-то прямых действиях, так как эта деятельность полезна в контексте аудита. Используйте при необходимости.

 

 

При каких перезагрузках используются подключения к данным?

Приложение показывает, какие подключения используются при выполнении обновления с помощью задач автоматического обновления, вручную или в запросах ODAG (или другого API). Это очень важно для понимания поведения пользователей.

 

Как найти?

Процесс ответа на этот вопрос рассматривается в разделе «Какие подключения к данным используются чаще всего?» в разделе выше. Этого можно достичь путем перехода к листу использования и фильтрации по фильтру «Тип выполнения» в таблице «Count of Data Connections by ExecutionType» («Количество подключений к данным по типу выполнения обновления»).

Что делать?

В данном случае нет необходимости в каких-то прямых действиях, так как эта деятельность полезна в контексте аудита. Используйте при необходимости.

 

Узнать стоимость решенияЗапросить видео презентацию

Запросить видео презентацию Запросить доступ к демо стенду online Узнать стоимость лицензий

Задать вопрос

loading...

Решения

Анализировать ФинансыУвеличивайте ПродажиОптимальный Склад и ЛогистикаМаркетинговые Метрики

Клиенты

  • ЮЕ-Интернейшнл

    Анализ активности клиентов; реализация корпоративной отчетности; сегментация клиентской базы; моделирование маркетинговых акций; план-фактный анализ.

  • Сбер банк

    В 2016 году в ПАО «Сбербанк» стартовало внедрение BI-платформы Qlik, которая уже стала инструментом принятия решений на основе данных для более чем 20 тысяч сотрудников розничного бизнеса банка.

  • компания Золотые луга
    Панель управления с отображением ключевых показателей деятельности;
    Прогноз реализации по заданным алгоритмам: выполнение плана на неделю, месяц;
    Динамика прироста получателей продукции
    Выявление потенциальных возможностей допоставок получателям из схожих областей/групп
    Анализ возвратов/претензий (факты, причины, отклонения)
    ДЗ, ПДЗ, отклонение от лимитов
    Остатки товарных позиций на дату и в динамике
    Наличие товара на складе (Out-of-Stock)
    Анализ «Что-Если»
    Анализ собственных цен в разрезе филиалов, в том числе в динамике, Сравнение с ценами конкурентов
    Анализ ключевых показателей в различных разрезах
    Сравнительный (LFL) анализ во времени
    Визуализация на географической карте
    Конструктор отчетов
    Анализ заказов (Воронка, конверсия, доли)
  • Материк

    Реализованные модули: анализ соответствия системы менеджмента качества (СМК); анализ товарного запаса; анализ оборачиваемости задолженностей; анализ клиентской базы.

  • Решения
    • Дистрибуция
    • Розничная торговля
    • Производство
    • Операторы связи
    • Банки
    • Страхование
    • Фармацевтика
    • Лизинг
    • Логистика
    • Медицина
    • Нефтегазовый сектор
    • Сеть ресторанов
  • Продукты
    • Qlik Sense
    • QlikView
    • Tableau
    • Microsoft Power BI
    • ATK BiView-1C Коннектор (для Qlik/Tableau/PowerBI)
    • Vizlib Qlik Sense extentions (библиотека экстеншнов)
    • NPrinting
    • Геоаналитика Qlik GeoAnalytics
    • KliqPlanning Suite
    • Qlik WebConnectors
    • QlikView R Коннектор
    • QlikView/Qlik Sense SAP Коннектор
    • Alteryx
    • Qlik Data Catalog
    • Документация ATK BiView
  • Услуги
    • Консалтинг
    • Пилотный проект
    • Поддержка
    • План обучения и сертификации Qlik
    • Бесплатное обучение
    • Учебные курсы
    • Сертификация Qlik
    • Аудит приложений
  • Курсы
    • Учебный курс по Qlik Sense
    • Учебный курс по Tableau
    • Учебный курс по Microsoft Power BI
    • Учебный курс Современная архитектура хранилища данных
    • Учебный курс Информационная грамотность
    • Учебный курс для бизнес-аналитиков
    • Учебный курс по NPrinting
    • Учебный курс по Azure Databricks
    • Учебный курс по Google BigQuery
  • Компания
    • О нас
    • Руководство
    • Новости
    • Клиенты
    • Скачать
    • Контакты
  • Функциональные решения
    • Продажи
    • Финансы
    • Склад
    • HR
    • S&OP и прогнозная аналитика
    • Внутренний аудит
    • Геоаналитика
    • Категорийный менеджмент
    • Построение хранилища данных
    • Система управления KPI и BSC
    • Управление цепочками поставок
    • Маркетинг
    • Цифровая трансформация
    • Сквозная аналитика
    • Process Mining
QlikView Partner
LinkedInYouTubeVkontakteFacebook
ООО "Би Ай Консалт",
ИНН: 7811437757,
ОГРН: 1097847154184
199178, Россия,
Санкт-Петербург,
6-ая линия В.О., Д. 63, 4 этаж
Тел: +7 (812) 334-08-01
Тел: +7 (499) 608-13-06
E-mail: info@biconsult.ru