BI Consult
  • Перейти на КликСенс
  • Перейти на КликВью
  • Перейти на Tableau
  • Перейти на Power BI
  • российские bi dwh dl
  • Главная
  • Продукты Business-BI
    • Дистрибуция
    • Розничная торговля
    • Производство
    • Операторы связи
    • Страхование
    • Банки
    • Лизинг
    • Логистика
    • Нефтегазовый сектор
    • Медицина
    • Сеть ресторанов
    • Энергетика
    • Фрод-менеджмент
    • E-Commerce
    • Фармацевтика
    • Построение хранилища данных
    • Создание Data Lake
    • Цифровая трансформация
    • Управление по KPI
    • Финансы
    • Продажи
    • Склад
    • HR
    • Маркетинг
    • Внутренний аудит
    • Категорийный менеджмент
    • S&OP и прогнозная аналитика
    • Геоаналитика
    • Цепочки поставок (SCM)
    • Process Mining
    • Сквозная аналитика
  • Платформы
    • Qlik Sense
    • QlikView
    • Tableau
    • Microsoft Power BI
    • Геоаналитика Qlik GeoAnalytics
    • Qlik NPrinting - рассылка отчетности QlikView/Qlik Sense
    • KliqPlanning Suite - бюджетирование в QlikView
    • ATK BiView-1C Коннектор (для Qlik/Tableau/PowerBI)
    • QlikView/Qlik Sense SAP Коннектор
    • QlikView R-Коннектор
    • Qlik Web Connectors - коннектор Google, Facebook, Twitter
    • Vizlib Qlik Sense extentions (библиотека экстеншнов)
    • Библиотека extention для Qlik
    • Qlik Alerting
    • Qlik Data Integration Platform - создание Data Lake
    • Qlik Data Catalog решение для Data Governance
    • ATK BiView документация
  • Услуги
    • Консалтинг
    • Пилотный проект
    • План обучения и сертификации
    • Подготовка специалистов по Qlik
    • Бесплатное обучение Qlik
    • Сертификация Qlik
    • Поддержка
    • Технические задания
    • Сбор требований для проекта внедрения BI-системы
    • Аудит приложений Qlik и Tableau
    • Разработка BI Стратегии
    • Styleguide для BI-системы
    • Как выбрать BI-систему
  • Курсы
    • Учебный курс по Qlik Sense
    • Учебный курс по Tableau
    • Учебный курс по Microsoft Power BI
    • Учебный курс Информационная грамотность (Data Literacy)
    • Учебный курс Современная архитектура хранилища данных
    • Учебный курс для бизнес-аналитиков
    • Учебный курс по NPrinting
    • Учебный курс по BigQuery
    • Учебный курс по Azure Databricks
    • Учебный курс по DWH
    • Учебный курс по Data Governance
    • Учебный курс по Data Science (ML, AI)
    • Учебный курс администратора Qlik Sense
  • Компания
    • Руководство
    • Новости
    • Клиенты
    • Карьера
    • Скачать
    • Контакты

QlikView / Qlik Sense

  • Qlik Sense
    • Возможности Qlik Sense
    • Qlik Sense Enterprise
    • Qlik Sense Desktop
    • Qlik Sense Saas облачная инфраструктура для компаний
    • Источники данных и хранение данных
    • Безопасность и разграничение прав доступа
    • Масштабируемость
    • Политика лицензирования Qlik Sense
    • Qlik Sense November 2021: новые возможности
    • Географические карты в Qlik Sense
    • Qlik Sense Cloud / Qlik Sense в облаке
    • Учебное пособие по Qlik Sense
  • QlikView
    • Архитектура
    • Отличия QlikView от традиционных BI-систем
    • Политика лицензирования QlikView
    • Системные требования и сайзинг
    • Отличие от OLAP-систем
    • QlikView on Mobile
    • Qlik и Big Data
    • Демонстрационные примеры
    • QlikView в "облаке" (Amazon) / QlikView in the cloud
    • Интеграция QlikView с Microsoft SharePoint
    • Учебное пособие по QlikView
    • Что такое QlikView Publisher
    • QlikView Extranet Server и дистрибуция отчетности внешним пользователям
  • Qlik Data Catalog
  • Qlik Alerting
  • Qlik Data Integration Platform
  • Add-ons для QlikView
    • Vizlib Qlik Sense extentions (библиотека экстеншнов)
    • QlikView/Qlik Sense ATK BiView-1C Коннектор
    • Документация ATK BiView
    • Qlik NPrinting
    • Геоаналитика Qlik GeoAnalytics
    • GeoQlik
    • KliqPlanning Suite
    • QlikView/Qlik Sense SAP Коннектор
    • QlikView R-Коннектор
    • Qlik Web Connectors
    • QlikView Cognos TM1 Коннектор
    • Визуализация графов в Qlik Sense с помощью Ogma / Linkurious
  • Учебный курс по Qlik Sense

Tableau

  • Tableau
    • Tableau Desktop
    • Tableau Server
    • Tableau Prep
    • Технологии
    • Источники данных Tableau
    • Безопасность в Tableau
    • Политика лицензирования
    • Tableau 2021: новые возможности
    • Сравнение продуктов Tableau (Desktop, Server, Online, Public)
    • Демонстрационные примеры
    • Учебный портал Tableau
    • Коробочное решение "Мониторинг Tableau Server"
    • Чем отличаются Tableau Reader и Viewer?
  • Учебный курс по Tableau

Другое

  • Microsoft Power BI
    • Power BI Desktop
    • Power BI Report Server
    • Отраслевые решения Microsoft Power BI
    • Политика лицензирования Microsoft Power BI
    • Power BI Mobile
    • Учебные курсы Microsoft Power BI
    • Архитектура Power BI
    • Обработка данных в Power BI
    • Аудит системы Power BI
  • Учебный курс по Microsoft Power BI
  • Alteryx
    • Alteryx Designer
    • Инструменты Alteryx Designer
    • Alteryx Server
    • Alteryx Analytics Gallery
    • Alteryx. Создание приложения, workflow, ETL
  • Data Engeneering
    • Создание Data Lake
    • Создание Data Warehouse
    • Учебный курс "Современная архитектура хранилища данных"
Главная » Курсы » Учебный курс администратора Qlik Sense

Прогрев кэша (Cache Warming)

Про процесс

Под «прогревом» кэша в Qlik Sense Enterprise понимается программное открытие приложений Qlik, для того чтобы базовое приложение предварительно загрузилось в оперативную память, прежде чем пользователи попытаются открыть его. Когда пользователи открывают приложение Qlik и взаимодействуют с ним, происходит три типа кэширования. Это можно визуализировать на следующем примере:

(взято из Технического описания движка Qlik)

В этом примере типы обозначены цветами:

  • Серый: кэш RAM базового приложения.
  • Темно-зеленый: кэш сеанса пользователя.
  • Светло-зеленый: кэш кэшированного набора результатов.

 

Кэш базового приложения является результатом того, что Движок Qlik открывает приложение Qlik с диска и распаковывает его в оперативную память. Этот процесс происходит, когда пользователь впервые открывает приложение (или если приложение открывается на новом движке) и должен ждать, пока приложение отобразится. Кэш сеанса пользователя – это метаданные сеанса пользователя с данным приложением. Сюда входят такие вещи, как текущий выбор и все предыдущие выборы. Этот кэш обычно довольно мал в процентном отношении, поскольку это чистые метаданные; например, такие как country=canada, а не расчеты, полученные в результате этого выбора. Кэш кэшированного набора результатов – это кэш вычислений, которые были произведены в результате выбора всех пользователей. Это будет что-то вроде Sum(Sales) или Count(DISTINCT ProductId), если пользователь выбрал country=canada.

Для многих развертываний Qlik Sense Enterprise администратор может захотеть сократить время, затрачиваемое на ожидание начальной загрузки приложения. Для этого необходимо запустить процесс прогрева кэша.

 

Частота прогрева кэша

Qlik Engine настроен на сохранение RAM базового приложения в течение определенного периода времени. По умолчанию этот период времени составляет 28,800 секунд (или 8 часов), но его можно настроить в QMC > Engines > Edit > Apps > App cache time (seconds):

Это означает, что администратору необходимо запланировать частоту прогрева кэша с учетом этой конфигурации. Есть два практически доступных варианта:

  1. Выполнить процесс прогрева кэша до того, как первые пользователи ожидаемо воспользуются приложением.
  2. Выполните процесс разогрева кэша с интервалом, меньшим, чем конфигурация App cache time (seconds)

 

Хотя эти два варианта можно комбинировать, совет по их использованию будет такой: вариант (1) идеально подходит для развертываний, в которых есть региональный доступ пользователей (например, только стандартные часовые пояса США или Европы) и/или есть дорогостоящие в вычислительном отношении перезагрузки пакетов, выполняемые во время выключения. часов, которые могут конфликтовать с процессом прогрева кэша. Вариант (2) идеально подходит для развертываний, которые должны обслуживать пользователей в нескольких часовых поясах.

Опции

Чтобы осуществить, прогрев кэша Qlik приложения, администратору необходимо запустить процесс, который может программно открыть приложение Qlik и, при необходимости, осуществить выборки. В этом руководстве описаны следующие варианты, позволяющие добиться такого результата:

Инструмент

Технический подхо

Сложность

Гибкость

CacheInitializer

.NET SDK

Низкая

Средняя/ Высокая

Butler-Cache Warming

JavaScript

Низкая/ Средняя

Средняя

Qlik Sense Scalability Tools

.NET SDK

Средняя

Высокая

 

Инициализатор кэша (CacheInitializer)

CacheInitializer это проект, первоначально разработанный менеджером по продукту в Qlik, но с тех пор его взяла на себя команда America’s Presales Enterprise Architecture. Это проект, созданный на C# с использованием .NET SDK позволяет:

  1. открывать приложения
  2. (опционально) кэшировать визуализации на листах приложения
  3. (опционально) осуществить выборки

Это очень простой инструмент, который идеально подходит для начального знакомства с процессом прогрева кэша или для небольших сред, где ограничения этого инструмента не вызывают проблем.

Использование

Чтобы использовать инструмент CacheInitializer, его можно загрузить со страницы релизов проекта (или, при желании, загрузить исходные файлы и скомпилировать у себя в Visual Studio). Релиз будет включать в себя основной исполняемый файл и вспомогательные файлы для работы инструмента. Доступные параметры:

 

  -s, --server     Required. URL to the server.
  -a, --appname    App to load (using app name)
  -i, --appid      App to load (using app ID)
  -p, --proxy      Virtual Proxy to use
  -o, --objects    (Default: False) cycle through all sheets and objects
  -f, --field      field to make selections in e.g Region
  -v, --values     values to select e.g  "France","Germany","Spain"
  --help           Display this help screen.
  

 

Обязательными параметрами являются server  и app  (указывается по имени или ID). Опциональные параметры позволяют администратору указать виртуальный прокси (-p  или --proxy), если проверка подлинности Windows не является виртуальным прокси без префиксов, откройте объекты на каждом листе в приложении (-o или --objects), осуществите выборки (-v или --values) для заданных полей (-f or --field).

Инструмент будет использовать проверку подлинности Windows, чтобы открыть приложение от имени пользователя, выполняющего процесс. Это означает, что если этот инструмент используется, администратор должен выполнять его в контексте выделенного пользователя, у которого есть назначенная ему лицензия и необходимые разрешения для открытия приложения с использованием правил безопасности (и section access, если он используется).

 Примечание

Хотя параметры имеют как краткую, так и полную форму, в этом руководстве будут использоваться длинные формы для лучшего понимания.

 Примечание

В этом руководстве для удобства будет использоваться --appname. Однако, рекомендуется использовать --appid, чтобы обеспечить точность открытия приложения.

Самый простой сценарий включает открытие приложения Qlik на указанном сервере для создания кэша Базового Приложения: CacheInitializer.exe --server https://qliksense.company.com --appname "Operations Monitor", инструмент выведет результат в виде:

 

02:27:54 - Operations Monitor: Opening app
02:27:55 - Operations Monitor: App open
02:27:55 - Operations Monitor: App cache completed
02:27:55 - Cache initialization complete. Total time: 00:00:07.3192225

 

Более сложный сценарий включает открытие приложения Qlik на указанном сервере и открытие всех визуализаций в приложении Qlik. Он создаст кэш Базового Приложения, а также заполнит кэш Кэшированных наборов результатов. Пример:

CacheInitializer.exe --server https://qliksense.company.com --appname "Operations Monitor" --objects, инструмент выведет результат в виде:

 

02:30:49 - Operations Monitor: Opening app
02:30:50 - Operations Monitor: App open
02:30:50 - Operations Monitor: Clearing Selections
02:30:50 - Operations Monitor: Getting sheets
02:30:50 - Operations Monitor: Number of sheets - 17, getting children
02:30:50 - Operations Monitor: Number of objects - 144, caching all objects
02:30:51 - Operations Monitor: Objects cached
02:30:51 - Operations Monitor: App cache completed
02:30:51 - Cache initialization complete. Total time: 00:00:06.5812126

 

Следующий пример объединит предыдущий пример с указанием конкретного виртуального прокси (с именем windows) и передачей выборок для кэша кэшированных наборов результатов. Пример:

CacheInitializer.exe --server https://qliksense.company.com --proxy windows --appname "Operations Monitor" --objects --field "App Name" --values "Operations Monitor","License Monitor" инструмент выведет результат в виде:

 

02:33:55 - Operations Monitor: Opening app
02:33:56 - Operations Monitor: App open
02:33:56 - Operations Monitor: Clearing Selections
02:33:56 - Operations Monitor: Applying Selection: App Name = Operations Monitor
02:33:56 - Operations Monitor: Getting sheets
02:33:56 - Operations Monitor: Number of sheets - 17, getting children
02:33:56 - Operations Monitor: Number of objects - 144, caching all objects
02:33:57 - Operations Monitor: Objects cached
02:33:57 - Operations Monitor: Clearing Selections
02:33:57 - Operations Monitor: Applying Selection: App Name = License Monitor
02:33:57 - Operations Monitor: Getting sheets
02:33:57 - Operations Monitor: Number of sheets - 17, getting children
02:33:57 - Operations Monitor: Number of objects - 144, caching all objects
02:33:57 - Operations Monitor: Objects cached
02:33:57 - Operations Monitor: App cache completed
02:33:57 - Cache initialization complete. Total time: 00:00:09.1996060

 

В этом последнем примере конкретное приложение открывается на нескольких узлах Движка Qlik (с использованием выделенных виртуальных прокси для каждого Движка) как без выборок, так и с определенными выборками:

 

# Функция для регистрации
function Get-TimeStamp {
    return "[{0:MM/dd/yyyy} {0:HH:mm:ss}]" -f (Get-Date)
}
<#
Добавить ведение журнала
#>
Set-Location $PSScriptRoot
$logdir = $PSScriptRoot + '\logs'
$logfile = $logdir + "\" + "CacheInitializer-Deploy-" + (Get-Date -Format yyyyMMdd) + ".log"
if (!(Test-Path $logdir)){
    New-Item -path $logdir -type directory | Out-Null
}
# Установить рабочий каталог
Set-Location "C:\temp\CacheInitializer"
# Задайте имя сервера Qlik Sense, на котором Qlik Proxy Service размещает виртуальные прокси
$server = 'https://qliksense.company.com'
<# Параметры CacheInitializer:
-s, --server Обязательно. URL-адрес сервера.
  -a, --appname Приложение для загрузки (с использованием имени приложения)
  -i, --appid Приложение для загрузки (с использованием идентификатора приложения)
  -p, --proxy Виртуальный прокси для использования
  -o, --objects (по умолчанию: False) цикл по всем листам и объектам
  -f, --field поле для выбора, например, региона
  -v, --values значения для выбора, например, "Франция", "Германия", "Испания"
  --help Показать этот экран справки.
#>
# Определить префиксы виртуального прокси
$vps = @(
    "02windows"
    , "03windows"
    , "04windows"
)
# Определить приложение
$appid = '40c69bba-1825-4109-985c-399af8e96e63'
Write-Output "$(Get-TimeStamp): Begin Cache Warm for $($appid)" | Out-File -FilePath $logfile -Append
# Перебрать каждый виртуальный прокси и выполнить CacheInitializer
foreach ($vp in $vps) {
    Write-Output "$(Get-TimeStamp): Connecting to $($server) on $($vp)" | Out-File -FilePath $logfile -Append
    $results = ''
    $results = .\CacheInitializer.exe --server $($server) --proxy $vp --appid $appid --objects
    if ($results.count -gt 1) {
        Write-Output "Successfully cached $($appid) on $($vp)" | Out-File -FilePath $logfile -Append
        $results | Out-File -FilePath $logfile -Append
    } else {
        Write-Output "Cache Failure on $($vp) for $($appid) on $($vp)" | Out-File -FilePath $logfile -Append
    }
    # Пример передачи состояний выбора для данного поля и сопутствующих значений
    Write-Output "$(Get-TimeStamp): Connecting to $($server) on $($vp)" | Out-File -FilePath $logfile -Append
    $results = ''
    $results = .\CacheInitializer.exe --server $($server) --proxy $vp --appid $appid --objects --field "Country" --values "United States","Germany"
    if ($results.count -gt 1) {
        Write-Output "Successfully cached $($appid) on $($vp) with selections" | Out-File -FilePath $logfile -Append
        $results | Out-File -FilePath $logfile -Append
    } else {
        Write-Output "Cache Failure on $($vp) for $($appid) on $($vp) with selections" | Out-File -FilePath $logfile -Append
    }}

Результирующий файл журнала:

cacheinitializer_deploy.log

 

ОГРАНИЧЕНИЯ

  • Согласованность (Concurrency): поскольку этот инструмент открывает приложения через сервис Qlik Proxy, пользователь, выполняющий процесс, будет ограничен 5 выполнениями за 5-минутный период. Это связано с ограничением количества параллельных сеансов, которые может использовать лицензия. Для большинства сценариев прогрева кэша это не является серьезной проблемой, хотя с этим ограничением можно столкнуться при первоначальном тестировании процесса.
  • Несколько узлов (Multinode): если администратору необходимо открыть данное приложение на нескольких узлах Qlik Engine, ему потребуются отдельные виртуальные прокси-серверы с использованием аутентификации Windows, каждый из которых подключен к одному Qlik Engine. Это гарантирует, что приложение будет открыто на каждом узле Qlik Engine. Основываясь на указанном выше ограничении согласованности, это означает, что инструмент CacheInitializer сможет кэшировать заданное приложение только на 5 отдельных узлах Qlik Engine в течение 5-минутного периода. Если вы пытаетесь создать процесс прогрева кэша для нескольких приложений на нескольких движках, необходимо учитывать эти 5 различных ограничений сеанса.

 

Прогрев батлер кэша

Альтернативный проект, использующий NodeJS для взаимодействия с API-интерфейсами Qlik Engine, - это Butler-Cache Warming, разработанный Гораном Сандером (Göran Sander). Горан – консультант Qlik Luminary, который ранее работал с очень крупным клиентом Qlik, чтобы помочь развернуть Qlik в большом масштабе. Инструмент дает возможность:

  1. открывать приложения.
  2. циклически просматривайте листы, чтобы создавать кэш кэшированных наборов результатов.
  3. задавать расписание открытия приложений.

 

Инструмент взаимодействует с Qlik Engine через порт API Qlik Engine (4747) и использует внутреннюю учетную запись Qlik (sa_repository) для программного открытия приложений. Благодаря этому администратору не нужно будет учитывать назначение лицензий или разрешения правил безопасности. Для доступа к приложению с использованием sa_repository (или любой внутренней учетной записи) лицензия не требуется, поскольку ни один интерактивный пользователь не может использовать эти учетные записи. Аналогичным образом, правило безопасности по умолчанию ServiceAccount гарантирует, что внутренние учетные записи имеют необходимую авторизацию для доступа к любому приложению Qlik. Если используется section access, то потребуется модификация таблицы section access, чтобы включить INTERNAL\sa_repository с конфигурацией по умолчанию, присутствующей в Butler-Cache Warming.

 

Использование

Поскольку настройка этого инструмента описана на странице инструмента GitHub, в этом руководстве рассматривается только необходимая конфигурация верхнего уровня.

  • Откройте командную строку: set NODE_ENV=production
  • Отредактируйте butler-cw-master\config\apps.yaml
    • Введите соответствующий сервер или серверы
    • Введите соответствующие GUID приложения
    • Введите соответствующий график (каждые X единиц, например, каждые 5 минут, каждый 1 час)
  • Отредактируйте butler-cw-master\config\production.yaml
  • Установите соответствующий каталог журнала
  • Если нет, возьмите client.pem и client_key.pem из C:\ProgramData\Qlik\Sense\Repository\Exported Certificates\.Local Certificates на одном из участников
    • На сервере должен быть установлен NodeJS
  • Настройте clientCertPath и clientCertKeyPath пути в production.yaml на путь, по которому находятся эти сертификаты
  • Если на одном из участников Qlik Sense Cluster, это работает:
    • cd C:\temp\butler-cw-master
      • где это путь к проекту
    • C:\Program Files\Qlik\Sense\ServiceDispatcher\Node\"node.exe index.js
  • Если на другом сервере
  • cd C:\temp\butler-cw-master
    • где это путь к проекту
  • node index.js
  • Если выполняется на одном из участников кластера Qlik Sense, переходите к выполнению.
  • Выполнить в командной строке:

 

Пример файла yaml:

apps:
  - server: qlikserver02
    appId: 4ebe6de0-ab6e-4c35-b6dd-70cc1c27ebe0
    appDescription: Cache warm big app on Node02
    appStepThroughSheets: true
    freq: every 5 hours
  - server: qlikserver03
    appId: 4ebe6de0-ab6e-4c35-b6dd-70cc1c27ebe0
    appDescription: Cache warm big app on Node03
    appStepThroughSheets: true
    freq: every 5 hours
  - server: qlikserver04
    appId: 4ebe6de0-ab6e-4c35-b6dd-70cc1c27ebe0
    appDescription: Cache warm big app on Node04
    appStepThroughSheets: true
    freq: every 5 hours
  - server: qlikserver02
    appId: bb5b386b-9bf5-4aaf-b946-3cceb7eb409d
    appDescription: Cache warm app with section access on Node02
    appStepThroughSheets: true
    freq: every 5 minutes
  - server: qlikserver03
    appId: bb5b386b-9bf5-4aaf-b946-3cceb7eb409d
    appDescription: Cache warm app with section access on Node03
    appStepThroughSheets: true
    freq: every 5 minutes
  - server: qlikserver04
    appId: bb5b386b-9bf5-4aaf-b946-3cceb7eb409d
    appDescription: Cache warm app with section access on Node04
    appStepThroughSheets: true
    freq: every 5 minutes

 

И пример результата вывода:

 

C:\temp\butler-cw-master>"C:\Program Files\Qlik\Sense\ServiceDispatcher\Node\"node.exe index.js
2020-02-24T00:27:14.205Z info: Starting Qlik Sense cache warmer.
2020-02-24T00:27:15.601Z info: App loaded: bb5b386b-9bf5-4aaf-b946-3cceb7eb409d
2020-02-24T00:27:15.631Z info: App bb5b386b-9bf5-4aaf-b946-3cceb7eb409d: Cached 1 visualizations on 1 sheets.
2020-02-24T00:27:15.700Z info: App loaded: 4ebe6de0-ab6e-4c35-b6dd-70cc1c27ebe0
2020-02-24T00:27:15.756Z info: App loaded: bb5b386b-9bf5-4aaf-b946-3cceb7eb409d
2020-02-24T00:27:15.772Z info: App bb5b386b-9bf5-4aaf-b946-3cceb7eb409d: Cached 1 visualizations on 1 sheets.
2020-02-24T00:27:16.015Z info: App 4ebe6de0-ab6e-4c35-b6dd-70cc1c27ebe0: Cached 3 visualizations on 1 sheets.
2020-02-24T00:27:16.036Z info: App loaded: 4ebe6de0-ab6e-4c35-b6dd-70cc1c27ebe0
2020-02-24T00:27:16.179Z info: App loaded: bb5b386b-9bf5-4aaf-b946-3cceb7eb409d
2020-02-24T00:27:16.195Z info: App bb5b386b-9bf5-4aaf-b946-3cceb7eb409d: Cached 1 visualizations on 1 sheets.
2020-02-24T00:27:16.393Z info: App 4ebe6de0-ab6e-4c35-b6dd-70cc1c27ebe0: Cached 3 visualizations on 1 sheets.
2020-02-24T00:29:21.126Z info: App loaded: 4ebe6de0-ab6e-4c35-b6dd-70cc1c27ebe0
2020-02-24T00:30:00.160Z info: App loaded: 4ebe6de0-ab6e-4c35-b6dd-70cc1c27ebe0
2020-02-24T00:30:00.385Z info: App loaded: bb5b386b-9bf5-4aaf-b946-3cceb7eb409d
2020-02-24T00:30:00.408Z info: App bb5b386b-9bf5-4aaf-b946-3cceb7eb409d: Cached 1 visualizations on 1 sheets.

 

ОГРАНИЧЕНИЯ

  • Возможность подключения: поскольку этот инструмент напрямую взаимодействует со службами Qlik Engine Services, порт 4747 Qlik Engine API должен быть открыт между сервером, выполняющим Butler-CW, и узлами Qlik Sense. Основное преимущество этого подхода заключается в том, что ограничение сеанса, существующее для CacheInitializer  и Qlik Sense Scalability Tools , не повлияет на Butler-CW
  • Выборки: этот инструмент не может передавать выборки в приложение Qlik. Это означает, что кэш кэшированного набора результатов не будет сохранятся с выборками.

 

Инструменты масштабирования Qlik Sense

Последний проект, который мы рассмотрим в этом посте – это Qlik Sense Scalability Tools. Этот проект создан командой Qlik, которая занимается вопросами производительности и масштабируемости в рамках отдела исследований и разработок. Это – релиз с открытым исходным кодом одного из ключевых инструментов, который группа R&D Qlik использует для тестирования масштабируемости и производительности Qlik Sense Enterprise. Это – скомпилированный проект с использованием .NET SDK с возможностями:

  1. открывать приложения
  2. (опционально) кэшировать визуализации на листах приложения.
  3. (опционально) осуществление выборок

 

Хотя пакет Scalability Tools в основном используется для тестирования масштабирования приложений Qlik, он позволяет выполнять функции из командной строки, и это означает, что его можно использовать для операций по прогреву кэша. При использовании этого подхода администратор должен убедиться, что моделируемые пользователи имеют назначенную им лицензию и необходимые разрешения для открытия приложения с использованием правил безопасности (и section access, если используются).

 

ИСПОЛЬЗОВАНИЕ

После загрузки пакета администратору необходимо настроить начальное подключение (Youtube-видео при начальной настройке) и создать сценарий (Youtube-видео о создании теста), который описывает действия, которые моделируемый пользователь будет выполнять в приложении. В этом сценарии вы можете дополнительно передать выборки в контексте всего приложения или для каждого листа.

После успешного создания сценария. Администратор может выполнить сценарий через командную строку:

 

C:\scalabilitytools\SDKExerciser\Sep2018\SDKExerciserConsole.exe config="C:\scalabilitytools\Scenario\app1-cachewarm.json" configname="1-app1-cachewarm" server=qliksenseserver02 app="325c3daa-1aeb-434c-9c1d-c7ce14ee201a" ssl=True headername=X-Qlik-User virtualproxyprefix=header iterations=1 usernameprefix=CacheWarmUser concurrentusers=1 rampupdelay=2.00 executiontime=3600 instancenumber=1 appmode=Open newuserforeachiteration=True afteriterationwait=NoWait afteriterationwaittime=0 logDir="C:\scalabilitytools\Results\cachewarm"

 

В строке определены: сценарий для запуска (config), прокси-сервер Qlik для подключения к (server), виртуальный прокси-сервер на основе заголовка для аутентификации (virtualproxyprefix  + его соответствующее headername), приложение, которое нужно открыть (app), и префикс пользователя (usernameprefix).

 

Ограничения

  • Согласованность (Concurrency): поскольку этот инструмент открывает приложения через сервис Qlik Proxy, пользователь, выполняющий процесс, будет ограничен 5 выполнениями за 5-минутный период. Это связано с ограничением количества параллельных сеансов, которые может использовать лицензия. Для большинства сценариев прогрева кэша это не является серьезной проблемой, хотя с этим ограничением можно столкнуться при первоначальном тестировании процесса..
  • Несколько узлов (Multinode): если администратору необходимо открыть данное приложение на нескольких узлах Qlik Engine, им потребуются отдельные виртуальные прокси-серверы с использованием аутентификации заголовков, каждый из которых подключен к одному Qlik Engine. Это гарантирует, что приложение будет открыто на каждом узле Qlik Engine. Основываясь на указанном выше ограничении согласованности, это означает, что Qlik Sense Scalability Tool сможет кэшировать только конкретное приложение на 5 отдельных узлах Qlik Engine в течение 5-минутного периода для каждого сценария. Если вы пытаетесь создать процесс прогрева кэша для нескольких приложений на нескольких механизмах, администратор может изменить параметр usernameprefix для эмуляции разных пользователей, чтобы избежать ограничения согласованности, указанного выше, за счет дополнительного потребления лицензии.
  • Аутентификация: поскольку этот инструмент использует аутентификацию заголовка для имитации пользователей, рекомендуется присоединять виртуальные прокси-серверы заголовка только ко внутренним (back-end) узлам, которые не доступны пользователю. Аутентификация заголовка по своей сути небезопасна и поэтому может представлять угрозу безопасности для большинства организаций без разделения этой аутентификации на внутренние (back-end) узлы.

 

Узнать стоимость решенияЗапросить видео презентацию

Запросить видео презентацию Запросить доступ к демо стенду online Узнать стоимость лицензий

Задать вопрос

loading...

Решения

Анализировать ФинансыУвеличивайте ПродажиОптимальный Склад и ЛогистикаМаркетинговые Метрики

До 2023 года компания BI Consult обладала официальным партнерским статусом Qlik в России. В настоящий момент деятельность QlikTech на территории России прекращена, BI Consult не имеет партнерских отношений и никаким иным образом более не связана с QlikTech и не предлагает к продаже системы бизнес-анализа QlikView, Qlik Sense и иные продукты бренда Qlik. Все материалы о продукции бренда Qlik на сайте приведены исключительно в описательных целях и для информирования пользователей о существующих в мире системах бизнес-анализа. Для приобретения продукции Qlik необходимо обратиться к правообладателю программного обеспечения QlikTech или дистрибьюторам.

Клиенты

  • STADA Arzneimittel AG — это международная группа компаний, один из ведущих игроков на мировом фармацевтическом рынке, чья продукция представлена более чем в 130 странах, в том числе в России и СНГ. Создано BI решение в области: Продажи, Анализ складских запасов, Анализ персонала

  • Fort Group
    Компания FORTGROUP – один из лидеров рынка коммерческой недвижимости Северо-Запада.
  • Обучение специалистов заказчика по курсам QlikView Designer и Developer, Advanced Topics, Server & Publisher

    Аудит модели данных

  • CBRE является ведущей компанией на мировом рынке, предоставляющей полный спектр услуг в области недвижимости и инвестиций.

    Модули:

    • Анализ клиентов и сотрудников
    • Анализ конъюктуры рынка
    • Анализ воронки продаж
  • Решения
    • Дистрибуция
    • Розничная торговля
    • Производство
    • Операторы связи
    • Банки
    • Страхование
    • Фармацевтика
    • Лизинг
    • Логистика
    • Медицина
    • Нефтегазовый сектор
    • Сеть ресторанов
  • BI платформы
    • Qlik Sense
    • QlikView
    • Tableau
    • Microsoft Power BI
    • ATK BiView-1C Коннектор (для Qlik/Tableau/PowerBI)
    • Vizlib Qlik Sense extentions (библиотека экстеншнов)
    • NPrinting
    • Геоаналитика Qlik GeoAnalytics
    • KliqPlanning Suite
    • Qlik WebConnectors
    • QlikView R Коннектор
    • QlikView/Qlik Sense SAP Коннектор
    • Alteryx
    • Qlik Data Catalog
    • Документация ATK BiView
  • Услуги
    • Консалтинг
    • Пилотный проект
    • Поддержка
    • План обучения и сертификации Qlik
    • Бесплатное обучение
    • Учебные курсы
    • Сертификация Qlik
    • Аудит приложений
  • Курсы
    • Учебный курс по Qlik Sense
    • Учебный курс по Tableau
    • Учебный курс по Microsoft Power BI
    • Учебный курс Современная архитектура хранилища данных
    • Учебный курс Информационная грамотность
    • Учебный курс для бизнес-аналитиков
    • Учебный курс по NPrinting
    • Учебный курс по Azure Databricks
    • Учебный курс по Google BigQuery
  • Компания
    • О нас
    • Руководство
    • Новости
    • Клиенты
    • Скачать
    • Контакты
  • Функциональные решения
    • Продажи
    • Финансы
    • Склад
    • HR
    • S&OP и прогнозная аналитика
    • Внутренний аудит
    • Геоаналитика
    • Категорийный менеджмент
    • Построение хранилища данных
    • Система управления KPI и BSC
    • Управление цепочками поставок
    • Маркетинг
    • Цифровая трансформация
    • Сквозная аналитика
    • Process Mining
LinkedInYouTubeVkontakteFacebook
ООО "Би Ай Консалт",
ИНН: 7811437757,
ОГРН: 1097847154184
199178, Россия,
Санкт-Петербург,
6-ая линия В.О., Д. 63, 4 этаж
Тел: +7 (812) 334-08-01
Тел: +7 (499) 608-13-06
E-mail: info@biconsult.ru