Архивирование старых журналов архива
Преимущества:
- Снижение затрат на хранение
- Устранение неполадок.
Цель
Цель данных работ – очистить или заархивировать старые журналы из Qlik Sense Enterprise. Это позволит администратору снизить затраты на хранение при развертывании Qlik Sense и повысить эффективность устранения неполадок за счет уменьшения количества журналов, которые необходимо искать и анализировать.
Выполняя данную процедуру, администратор должен определиться, требуется ли сохранять файлы журналов для развернутых Qlik Sense в целях обеспечения соответствия. Ответ на этот вопрос определит, будет ли процесс очистки сосредоточен на архивировании или очистке старых журналов. Он может зависить и от местного законодательства, договорных обязательств (например, ELA с Qlik) или бизнес-стандартов, таких как PCI и т. д.
После решения первого вопроса необходимо определить, срок хранения журналов в зависимости от потребностей по их использованию в приложениях мониторинга Qlik Sense. Например, если администратору необходимо ежегодно отчитываться об использовании лицензий в рамках внутренней проверки бизнеса, то необходимо хранить журналы не менее 1 года.
Срок хранения журналов для приложений мониторинга по умолчанию
Для принятия решений о необходимом сроке хранения журналов важно учитывать наличие приложений мониторинга устанавливаемых вместе с каждым развертыванием Qlik Sense. Если администратору необходимо использовать эти инструменты для ответа на конкретные вопросы по внедрению/использованию, тогда они должны быть обеспечены необходимым количеством файлов журналов, которые используются в качестве источников для приложений мониторинга.
Ниже приведена таблица с указанием анализируемых по умолчанию периодов в каждом из приложений мониторинга:
|
Инструмент |
Объем данных |
Первичный источник данных |
|---|---|---|
|
Operation Monitor (монитор операций) |
3 месяцев |
файлы журнала на диске |
|
License Monitor (монитор лицензий) |
12 месяцев |
файлы журнала на диске |
|
Log Monitor (монитор журналов) |
7 дней |
файлы журнала на диске |
|
Reload Monitor (монитор обновлений приложений) |
12 месяцев |
файлы журнала на диске |
|
Session Monitor (монитор пользовательских сессий) |
12 месяцев |
файлы журнала на диске |
|
Sense Performance Analyzer (анализ производительности Qlik Sense) |
7 дней |
Централизованная база данных журналов |
|
App Metadata Analyzer (анализ метаданных приложений) |
н/д |
API |
Практические сроки хранения
Практически для большинства организаций периоды хранения будут варьироваться между уровнями развертывания Qlik (если применимо), при этом на продуктивных(производственных) уровнях журналы хранятся дольше, чем на уровнях разработки. В общем, минимальный срок хранения, который имеет смысл, будет следующим:
- Производство: 18 месяцев
- Разработка: 6 месяцев
- Песочница: 1-2 месяца
Опять же, это базовый уровень, который необходимо будет скорректировать в соответствии с юридическими, договорными стандартами и стандартами соответствия, установленными в организации.
Скрипт для архивации/очистки
cacheinitializer_deploy.log
# Укажите желаемый возрастной порог
# например «60» переместит все журналы старше 60 дней
$days = "60"
# Использование https://technet.microsoft.com/en-us/library/cc733145(v=ws.11).aspx
# /e применяется к файлам и подкаталогам в пути
# /mov перемещает файлы
$option1 = "/mov"
$option2 = "/e"
# Путь к журналам Qlik Sense, обычно это архивные журналы
$source = "C:\QlikShare\ArchivedLogs"
# Путь, куда нужно переместить файлы журнала
$dest = "C:\OldLogs"
# Удалить логи да/нет
$removelogs = "n"
# Проверяем, существует ли путь $ dest, иначе создайте его
if(!(Test-Path -Path $dest )){
New-Item -ItemType directory -Path $dest
}
# Передача текущего каталога для создания журнала
# Начать основной вызов robocopy
$scriptDir = Split-Path -Path $MyInvocation.MyCommand.Definition -Parent
& robocopy $source $dest $option1 $option2 /MINAGE:$days /LOG:$scriptDir\robolog.log /MT
# Удаляет файлы, если $removelogs = y
If ($removelogs -eq 'y') {Remove-Item $dest -Force -Recurse}
Else {"Files moved"}
