Big Data: использование QlikView / Qlik Sense для анализа больших данных
Отвечая запросу современного бизнеса иметь доступ к «большим данным», QlikView реализует эту ценность для пользователей, создавая сжатое интеллектуальное представление только той детальной информации, которая актуальна в контексте стоящих перед пользователем проблем.
Пользователям разного уровня требуется информация разной степени детализации. Так, например в крупной сети магазинов топ-менеджеру нужны итоговые показатели эффективности по регионам, менеджеру, ответственному за продукт, может требоваться более детализированная информация только по своему направлению, но с детализацией до SKU, аналитику в этой компании может быть интересен анализ чеков. Таким образом, разным пользователям может потребоваться рассмотреть исходные данные с разных задач и на разном уровне детализации.
QlikView справляется с этими задачами без создания тяжеловесной и трудозатратой инфраструктуры:
Запатентованный механизм QlikView для обработки данных в оперативной памяти способен выполнять десятикратное сжатие обычных данных; благодаря этому на один сервер, оснащенный 256 Гбайт оперативной памяти, можно загрузить более 2 Тбайт несжатых данных. Это позволяет работать с миллиардами строк, обеспечивая при этом время отклика в несколько секунд.
Многие компании по всему миру уже выбрали именно такой подход к организации анализа терабайт данных, содержащихся в хранилищах и информационных системах.
Преимущества использования QlikView для анализа Big Data
- Доступ к Big Data без необходимости сложного моделирования или программирования
- Консолидация актуальных данных из множества источников, в том числе хранилищ
- Использование существующих инвестиций в инфраструктуру «больших данных» или хранилища данных
- Возможность исследовать ассоциации между «большими» и традиционными данными
- Визуализация «больших данных» с помощью самых современных графических средств
- Анализ Big Data с помощью мобильных устройств
Инвестировали средства в хранилище? – Воспользуйтесь инструментом QlikView Direct Discovery
Компании, которые вложили средства в создание хранилищ и поэтому не рассматривают возможность загрузки и обработки всех данных в оперативной памяти QlikView, могут применить гибридный подход с использованием инструмента QlikView Direct Discovery. Этот инструмент работает как с данными в оперативной памяти, так и с данными, полученными из внешних источников с помощью динамических запросов.
QlikView Direct Discovery решает три задачи:
- «На лету» запрашивает информацию из хранилища;
- Ускоряет повторное использование данных с помощью кэширования результатов запросов в памяти;
- Поддерживает ассоциации между всеми данными независимо от того, где они находятся.
QlikView Connector JDBC
- Hadoop HDFS, Hive and Hive2
- (Cloudera, Hortonworks, MapR, Amazon EMR)
- Cloudera Impala
- Apache HBase (via Phoenix)
- Apache Cassandra CQL
- Amazon Redshift
- SAP S4/HANA ERP/BW
- SAP HANA DB
- SAP ERP/BW (via SAP JCo)
- hybris Virtual JDBC
- HP Vertica
- Kx Systems Kdb+ (supports Q programming language)
- SAS Data Using the Integrated Object Model (IOM)
- Microsoft Windows SQL Azure
- Google Cloud SQL
- Neo4j Graph Database (supports Cypher graph query language)
- MongoDB (via UnityJDBC)
- OrientDB document graph NoSQL dbms
- Apache Derby / Java DB, H2
- encrypted CSV files (via CsvJdbc)
- COBOL files (via HXTT Cobol)
- FoxPro / DBF (via HXTT DBF)
- Pentaho Kettle Transformation Steps (via Carte Service)
