Ogma / Linkurious: визуализация графов в Qlik Sense
Расширение графики в Qlik Sense с библиотекой визуализации графов Ogma для предоставления новых аналитических данных.
Linkurious – готовый продукт для аналитики с помощью диаграммы связей, есть возможность интеграции с Qlik Sense. Аналитика с помощью диаграмм связей помогает обнаружить скрытую ранее информацию, делать на основе анализа связей определенные выводы. В принципе та же идеология, что и в любом другом BI. Главное отличие – наглядное отображение связей.
Можно использовать в кибербезопасности (Cyber-Security Analysis), обнаружении фрода (Fraud Detection), анализе социальных сетей (Social Network Analysis) и других сферах.
Платформа визуализации Qlik Sense
Qlik Sense это современная самообслуживающаяся аналитическая платформа с веб-интерфейсом. С этим мощным движком с индексированием в памяти (QIX) он позволяет обследовать и анализировать данные. Я работал с продуктами Qlik более 10 лет и всегда искал возможность объединить графические данные и визуализацию графов, чтобы расширить классический реляционный и табличный контекст.
Уравновешивание связей в ваших данных с помощью аналитики графических данных
Исследование данных как графических, используя алгоритмы графов в аналитике открывает много вариантов использования чтобы достичь большего понимания внутри отношений и скрытых шаблонов внутри данных. Комбинирование относительного и графического подходов аналитики данных является многообещающей целью. Я начал в 2011, чтобы интегрировать графические данные из Neo4J в Qlik Sense, и с тех пор я написал пару расширений (пользовательская веб-визуализация) для Qlik View и Qlik Sense, используя несколько библиотек визуализации (d3.js, graphdracula.js, sigma.js, alchemy.js, vis.js).
Продукты Linkurious привлекали меня какое-то время за их многофункциональность, привлекательные графические шаблоны и интерактивность. Объединение всех продуктов внутри Qlik было первой идеей, но, возможно, очень сложной. С выпуском библиотеки Ogma, графическая визуализация Linkurious стала более понятной.
Объединение библиотеки графических данных Ogma с Qlik Sense
Интеграция Ogma стала ясна. Я мог бы использовать существующее расширение Qlik Sense, которое я разработал с сетевой диаграммой vis.js и мне нужно было добавить только вызовы библиотеки и разобраться с узлами и дугами существующей графической модели из-за различных свойств объекта. Также хорошая онлайн документация и примеры использования Ogma очень хорошо помогли мне быстро воссоздать ту же функциональность.
После этого, я добавил несколько функций Ogma, которые я исследовал во время внедрения фильтра узлов и выделение лассо, чтобы расширить функциональность. Во время всего процесса внедрения, я столкнулся с несколькими проблемами, я мог обратить в службу поддержки, и эти проблемы были бы решены в следующей версии. Также вопросы использования могли быть быстро заданы. Более того, у меня был великолепный опыт работы вместе с командой Linkurious.
Исследование данных в Qlik с помощью Ogma, чтобы раскрыть мошеннические сделки
Внедрение моего расширения графической визуализации - это более-менее общий вопрос, не предназначенный для конкретного случая. Для тестирования и демонстрации я использовал наборы данных из покупок в онлайн-магазинах. Помимо таблицы с данными о транзакциях, я создал график интересных точек данных, чтобы визуализировать взаимосвязь транзакций. Это может помочь обнаружить скрытые шаблоны, такие как мошенничество или обман.
Граф может быть сохранен как список смежности в модели данных Qlik. Каждая запись в списке смежности содержит одно ребро графа. В этом случае, я вытащил отношения точек данных таблицы транзакций как исходных, целевых отношений.
Для целевого выбора я привязал дугу транзакции с помощью поля [id]. Поэтому я могу косвенно выбрать идентификатор транзакции, когда выбор сделан на узле.
Поскольку исходный и целевой узлы, хранящиеся внутри таблицы смежности, могут иметь несколько типов, я использовал префикс, чтобы хранить информацию о типе (cc: для credit card, ip: для IP address и так далее). Этот тип позже используется в визуализации графика, чтобы определить значок и цвет узла.
Теперь мы можем выбрать наиболее важные данные в Qlik Sense, чтобы ограничить график взаимосвязанных транзакций до удобного размера для дальнейшего исследования. Для обработки выбора мы можем использовать любой компонент интерфейса Qlik Sense. В этом случае я могу использовать гистограмму, которая объединяет наиболее используемые кредитные карты в качестве точки входа.
Полученный граф говорит нам о следующих вещах:
- Транзакции взаимосвязаны;
- Узлы раскрашены по типу узлов (credit card, phone number, ip address и так далее) и используют значок и всплывающее окно, чтобы дать нам больше информации;
- Толщина говорит о сумме заказа;
- Размер узла определяет степень узла и меру связанности;
- Узлы высокой степени являются «горячими точками», которые необходимо рассмотреть для дальнейшего изучения.
Расширьте ваши аналитические возможности с помощью технологии графов
Ogma предоставляет пару функций, чтобы сделать больше взаимодействий в графике. Я только что реализовал несколько вариантов использования:
- Фильтр узлов: дает возможность отфильтровывать несущественные узлы, в этом случае мы можем отфильтровать узлы с низкой степенью (может быть и сумма агрегирования);
- Выбор лассо на узлах: выбор узлов, представляющих наибольший интерес, и связанных транзакций для дальнейшего исследования.
Теперь у нас есть обобщенное расширение графа в Qlik Sense с помощью Ogma, которое обеспечивает визуализацию графика, навигацию, фильтрацию и выделение. Это хорошая отправная точка для создания ориентированных на конкретное использование и ориентированных на пользователя решений на основе графа в Qlik Sense. Мы можем добавить дополнительные функции из библиотеки Ogma или использовать различные макеты графов для удовлетворения требований клиентов. Наконец, это дает нам возможность создавать более ценные идеи в проектах аналитики.
Способы достижения графической визуализации и аналитики с расширением Qlik Sense
Инструменты визуализации и анализа данных очень важны для быстрой фокусировки и использования соответствующих знаний в ваших данных. Такие решения, как Qlik Sense, позволяют предприятиям создавать интерактивные визуализации, исследовать и анализировать данные для принятия значимых решений. Однако традиционный табличный подход не может эффективно анализировать высокосвязные данные.
Комбинация традиционных средств визуализации и анализа данных с технологиями графов предлагает новые существенные аналитические идеи. Становится легче использовать важную информацию, которая находится в связях данных при изучении ее как графика. От финансового мониторинга до бизнес-аналитики вы можете укрепить свои аналитические возможности с помощью этого графического расширения для Qlik Sense.
