Отличия платформ продвинутой аналитики от BI-систем

Рядовые пользователи часто имеют неверное представление о платформах продвинутой аналитики (Advanced Analytics Systems), поэтому не понимают, чем они отличаются от BI-систем (Business Intelligence). Во время презентаций Loginom нередко задают вопрос: «Как выглядят в нем дашборды?». Но Loginom — это продукт класса Advanced Analytics Systems, в котором основной акцент делается на сложной обработке, а не визуализации. Ниже приведено сравнение двух категорий продуктов с указанием их достоинств и недостатков.

Описание

Платформы продвинутой аналитики позволяют проводить сложный анализ данных, выявлять зависимости и закономерности, моделировать и прогнозировать. Они обладают широкими возможностями по очистке и предобработке данных, построению моделей машинного обучения, позволяют автоматизировать расчеты, ускоряя и упрощая работу аналитиков.

BI-системы представляют собой инструменты для сбора, анализа и визуализации данных. Они позволяют представить большие объемы данных в удобном для восприятия человеком виде: дашборды, графики, отчеты и т.п. Эта информация используется для принятия решений и улучшения бизнес-показателей. BI-системы включают функционал для исследования и погружения в данные, расчета показателей, анализа трендов и т.д.

Назначение

BI-системы используются для анализа данных и создания отчетов, но их основная цель — предоставление бизнес-пользователям доступа к ключевым показателям эффективности и визуализации информации для принятия решений. Они отвечают на вопрос «Что случилось?», например, с прибылью, расходами, метриками и т.д. Такой анализ принято называть ретроспективным, т.к. он обращен в прошлое.

Системы продвинутой аналитики предназначены для автоматизации анализа данных, создания интеллектуальных моделей, прогнозирования и принятия решений на основе данных. Построенные модели позволяют ответить на вопросы «Почему так произошло?», «Какие факторы повлияли?», «Что будет дальше?», а, следовательно, они обращены в будущее.

Сильные стороны

У обеих категорий систем есть исключительные черты, являющиеся их «козырем», за счет которых они и приобрели популярность среди пользователей.

У BI-систем — это превращение массивов данных в понятные дашборды для интерактивного исследования. С их помощью можно оценивать метрики без помощи программистов и быть всегда в курсе результатов работы компании. BI-системы доступны для использования конечными пользователями без технического образования, позволяя им легко манипулировать и изучать данные в любых разрезах.

У систем продвинутой аналитики — это конвейер обработки данных, с помощью которого автоматизируются операции по подготовке, очистке, трансформации и извлечению полезной информации из огромных наборов разрозненных данных и создания связей между ними. Эти системы обычно ориентированы на аналитиков, экспертов в предметных областях и разработчиков, которым требуется глубокий анализ и создание сложных моделей.

Визуальное проектирование

Визуальное проектирование является составляющей обеих систем. Разница в том, что в системах продвинутой аналитики основной акцент делается на построение конвейеров обработки данных, называемых сценариями, потоками или пайплайнами. Они построены по принципу переноса обработчиков в рабочую область и их последующего связывания с целью построения сложных моделей трансформации данных. В случае необходимости можно добавлять фрагменты кода и комбинировать любые методы обработки.

Например, в Loginom сценарии выглядят как на скриншоте ниже.

BI-система — эффективный инструмент для исследования данных. Визуальное проектирование в них в основном сосредоточено на настройке связей между таблицами фактов/измерений и создании удобных дашбордов. Обычно они предлагают развитые механизмы фильтрации, детализации, агрегации данных, перехода в другие отчеты и т.п. Многие системы этого класса позволяют использовать языки программирования для создания нестандартных вариантов визуализации.

В качестве типичного интерфейса BI-систем можно рассмотреть платформу Visiology, представленную на скриншоте.

По тому как выглядит типичное рабочее место пользователя платформы продвинутой аналитики и BI-системы очевидно, что они ориентированы на различные задачи и категории пользователей.

ETL

ETL (Extract, Transform, Load) — извлечение, преобразование, загрузка — это самая большая проблема аналитиков, которая занимает до 80% рабочего времени.

При построении дашбордов предполагается, что визуализируются чистые, подготовленные данные, которые прошли всю необходимую предобработку. BI-платформы имеют функционал, позволяющий реализовать ETL-процедуры, но он либо ограничен, либо требует написания кода.

Системы продвинутой аналитики обладают мощными механизмами для быстрой и качественной настройки ETL-процессов. За счет множества готовых компонентов обработки системы отлично подходят для подготовки данных. Причем они позволяют не просто переносить данные из множества источников в хранилище, но и произвести операции по повышению их качества: редактировать аномалии, заполнить пропуски, провести дедупликацию, связать и обогатить сведениями из сторонних источников.

Методы анализа

BI-системы предлагают продвинутые способы визуализации: информационные панели и системы показателей, многомерный анализ и т.п. Часто продукты имеют развитые механизмы мониторинга и оповещения. Они могут иметь инструменты для более сложной обработки, например, построения трендов, но основной акцент в BI-системах делается на повышение удобства анализа человеком, т.е. отображение данных в удобном для него виде.

В системах продвинутой аналитики используются более сложные количественные методы, основанные на математической статистике для обнаружения тенденций и закономерностей: прогнозная аналитика, интеллектуальный анализ данных, моделирование и алгоритмы машинного обучения, такие как регрессия, кластеризация, нейросети и др.

Дашборды

Дашборды, также известные как информационные панели или панели управления, представляют собой способ отображения данных и ключевых метрик в удобной и понятной форме. Они используются для мониторинга, анализа и принятия решений на основе сведений в различных областях и сферах деятельности.

В системах продвинутой аналитики обычно нет собственных развитых инструментов для создания дашбордов. Чаще всего информационные панели доступны только при интеграции с BI-системами.

BI-системы предоставляют удобные инструменты манипулирования:

• Фильтрация данных. Пользователи могут выбирать и применять различные фильтры для отображения конкретных данных или ограничения информации по определенным параметрам.
• Динамические графики и диаграммы. Можно взаимодействовать с графиками и диаграммами, чтобы получать более подробную информацию, наводя курсором на точки данных или переключая виды представления.
• Детализация и свертывание данных. Пользователи могут переходить от общих данных к более детализированным и обратно, что помогает увидеть полную картину и выявить детали.
• Визуализация на карте. Некоторые BI-системы предоставляют возможность отображения данных на карте, что особенно полезно для анализа географических распределений.
• Интерактивные таблицы. Пользователи могут сортировать, группировать и фильтровать данные в таблицах для удобного анализа.

Кроме того, развитые BI-системы дают возможность настройки дизайна и визуального оформления дашбордов и отчетов, позволяя адаптировать интерфейс платформы под корпоративный стиль и брендинг клиента. Это может включать изменение цветовой гаммы, логотипов, шрифтов и других визуальных элементов. В системах продвинутой аналитики обычно такие возможности отсутствуют.

Большинство BI-продуктов позволяют работать с дашбордами при помощи мобильных приложений, что повышает доступность и делает процесс аналитики более гибким.

Разграничение прав

Чаще всего с дашбордами одновременно работает большое количество пользователей, которым нужно видеть только свой фрагмент данных. Ограничения могут касаться показателей, регионов, подразделений и т.д. Поэтому BI-системы обычно имеют развитые механизмы управления правами доступа, вплоть до ячейки в таблице.

Системы продвинутой аналитики нацелены на трудоемкую аналитическую работу, которой в основном занимаются несколько сотрудников и в процессе которой получаются структурированные данные для анализа в BI-системах. Поэтому чаще всего механизмы разграничения прав в них не так продвинуты, как в BI-системах.

Что выбрать?

В конечном итоге оба подхода имеют свои сильные и слабые стороны, и организациям следует выбирать тот, который лучше подходит под их потребности и цели. Ниже приведена сравнительная таблица.

Если требуется гибкая и мощная платформа для ETL-процессов, сложного анализа данных и построения моделей, лучше подходят системы продвинутой аналитики. Если же нужно быстро и удобно создавать отчеты и дашборды для визуализации данных и нет сложной обработки данных либо данные уже представлены в «чистом» виде, то BI-системы могут быть более подходящим вариантом. Важно также учитывать навыки и уровень экспертизы сотрудников при выборе инструмента.

Лучшим вариантом является использование продуктов обоих классов, т.к. в цепочке работы с данными системы продвинутой аналитики выполняют функцию ETL-инструмента и сложной обработки данных, а BI-системы отвечают за визуализацию полученной информации и доставку до потребителей.

Подобный вариант совместного применения продуктов разных классов реализован в Дальневосточной генерирующей компании, Positive Technologies и других организациях, где Loginom используется как ETL-инструмент с последующей визуализацией результатов в Visiology.

Пример интеграции Loginom и Visiology продемонстрирован в видео:

Другие материалы по теме:

Программирование в Loginom: Python vs JavaScript

Опыт проведения нагрузочных тестов в масштабных BI-проектах. Кейс Visiology