Платформы продвинутой аналитики и BI-системы реализуют разный подход к обработке данных. Несмотря на то, что в обоих случаях речь идет об аналитике, между этими классами продуктов имеются существенные различия: BI — ориентирован на визуализацию и удобное представление заранее подготовленной информации, а платформы продвинутой аналитики — на автоматизацию расчетов и построение сложных моделей принятия решений.
Рядовые пользователи часто имеют неверное представление о платформах продвинутой аналитики (Advanced Analytics Systems), поэтому не понимают, чем они отличаются от BI-систем (Business Intelligence). Во время презентаций Loginom нередко задают вопрос: «Как выглядят в нем дашборды?». Но Loginom — это продукт класса Advanced Analytics Systems, в котором основной акцент делается на сложной обработке, а не визуализации. Ниже приведено сравнение двух категорий продуктов с указанием их достоинств и недостатков.
Платформы продвинутой аналитики позволяют проводить сложный анализ данных, выявлять зависимости и закономерности, моделировать и прогнозировать. Они обладают широкими возможностями по очистке и предобработке данных, построению моделей машинного обучения, позволяют автоматизировать расчеты, ускоряя и упрощая работу аналитиков.
BI-системы представляют собой инструменты для сбора, анализа и визуализации данных. Они позволяют представить большие объемы данных в удобном для восприятия человеком виде: дашборды, графики, отчеты и т.п. Эта информация используется для принятия решений и улучшения бизнес-показателей. BI-системы включают функционал для исследования и погружения в данные, расчета показателей, анализа трендов и т.д.
BI-системы используются для анализа данных и создания отчетов, но их основная цель — предоставление бизнес-пользователям доступа к ключевым показателям эффективности и визуализации информации для принятия решений. Они отвечают на вопрос «Что случилось?», например, с прибылью, расходами, метриками и т.д. Такой анализ принято называть ретроспективным, т.к. он обращен в прошлое.
Системы продвинутой аналитики предназначены для автоматизации анализа данных, создания интеллектуальных моделей, прогнозирования и принятия решений на основе данных. Построенные модели позволяют ответить на вопросы «Почему так произошло?», «Какие факторы повлияли?», «Что будет дальше?», а, следовательно, они обращены в будущее.
У обеих категорий систем есть исключительные черты, являющиеся их «козырем», за счет которых они и приобрели популярность среди пользователей.
У BI-систем — это превращение массивов данных в понятные дашборды для интерактивного исследования. С их помощью можно оценивать метрики без помощи программистов и быть всегда в курсе результатов работы компании. BI-системы доступны для использования конечными пользователями без технического образования, позволяя им легко манипулировать и изучать данные в любых разрезах.
У систем продвинутой аналитики — это конвейер обработки данных, с помощью которого автоматизируются операции по подготовке, очистке, трансформации и извлечению полезной информации из огромных наборов разрозненных данных и создания связей между ними. Эти системы обычно ориентированы на аналитиков, экспертов в предметных областях и разработчиков, которым требуется глубокий анализ и создание сложных моделей.
Визуальное проектирование является составляющей обеих систем. Разница в том, что в системах продвинутой аналитики основной акцент делается на построение конвейеров обработки данных, называемых сценариями, потоками или пайплайнами. Они построены по принципу переноса обработчиков в рабочую область и их последующего связывания с целью построения сложных моделей трансформации данных. В случае необходимости можно добавлять фрагменты кода и комбинировать любые методы обработки.
Например, в Loginom сценарии выглядят как на скриншоте ниже.
Интерфейс Loginom
BI-система — эффективный инструмент для исследования данных. Визуальное проектирование в них в основном сосредоточено на настройке связей между таблицами фактов/измерений и создании удобных дашбордов. Обычно они предлагают развитые механизмы фильтрации, детализации, агрегации данных, перехода в другие отчеты и т.п. Многие системы этого класса позволяют использовать языки программирования для создания нестандартных вариантов визуализации.
В качестве типичного интерфейса BI-систем можно рассмотреть платформу Visiology, представленную на скриншоте.
Интерфейс Visiology
По тому как выглядит типичное рабочее место пользователя платформы продвинутой аналитики и BI-системы очевидно, что они ориентированы на различные задачи и категории пользователей.
ETL (Extract, Transform, Load) — извлечение, преобразование, загрузка — это самая большая проблема аналитиков, которая занимает до 80% рабочего времени.
При построении дашбордов предполагается, что визуализируются чистые, подготовленные данные, которые прошли всю необходимую предобработку. BI-платформы имеют функционал, позволяющий реализовать ETL-процедуры, но он либо ограничен, либо требует написания кода.
Системы продвинутой аналитики обладают мощными механизмами для быстрой и качественной настройки ETL-процессов. За счет множества готовых компонентов обработки системы отлично подходят для подготовки данных. Причем они позволяют не просто переносить данные из множества источников в хранилище, но и произвести операции по повышению их качества: редактировать аномалии, заполнить пропуски, провести дедупликацию, связать и обогатить сведениями из сторонних источников.
BI-системы предлагают продвинутые способы визуализации: информационные панели и системы показателей, многомерный анализ и т.п. Часто продукты имеют развитые механизмы мониторинга и оповещения. Они могут иметь инструменты для более сложной обработки, например, построения трендов, но основной акцент в BI-системах делается на повышение удобства анализа человеком, т.е. отображение данных в удобном для него виде.
В системах продвинутой аналитики используются более сложные количественные методы, основанные на математической статистике для обнаружения тенденций и закономерностей: прогнозная аналитика, интеллектуальный анализ данных, моделирование и алгоритмы машинного обучения, такие как регрессия, кластеризация, нейросети и др.
Дашборды, также известные как информационные панели или панели управления, представляют собой способ отображения данных и ключевых метрик в удобной и понятной форме. Они используются для мониторинга, анализа и принятия решений на основе сведений в различных областях и сферах деятельности.
В системах продвинутой аналитики обычно нет собственных развитых инструментов для создания дашбордов. Чаще всего информационные панели доступны только при интеграции с BI-системами.
BI-системы предоставляют удобные инструменты манипулирования:
Кроме того, развитые BI-системы дают возможность настройки дизайна и визуального оформления дашбордов и отчетов, позволяя адаптировать интерфейс платформы под корпоративный стиль и брендинг клиента. Это может включать изменение цветовой гаммы, логотипов, шрифтов и других визуальных элементов. В системах продвинутой аналитики обычно такие возможности отсутствуют.
Большинство BI-продуктов позволяют работать с дашбордами при помощи мобильных приложений, что повышает доступность и делает процесс аналитики более гибким.
Чаще всего с дашбордами одновременно работает большое количество пользователей, которым нужно видеть только свой фрагмент данных. Ограничения могут касаться показателей, регионов, подразделений и т.д. Поэтому BI-системы обычно имеют развитые механизмы управления правами доступа, вплоть до ячейки в таблице.
Системы продвинутой аналитики нацелены на трудоемкую аналитическую работу, которой в основном занимаются несколько сотрудников и в процессе которой получаются структурированные данные для анализа в BI-системах. Поэтому чаще всего механизмы разграничения прав в них не так продвинуты, как в BI-системах.
В конечном итоге оба подхода имеют свои сильные и слабые стороны, и организациям следует выбирать тот, который лучше подходит под их потребности и цели. Ниже приведена сравнительная таблица.
| Параметр | BI-системы | Системы продвинутой аналитики |
|---|---|---|
| Ориентация | Прошлое | Будущее |
| Основной акцент | Визуализация и доставка информации | Моделирование и автоматизация сложных расчетов |
| Отвечает на вопросы | Что случилось? Когда? Сколько? | Что произойдет? Что повлияло? Что дальше? |
| Технологии | Дашборды, Отчетность, OLAP, Оповещения | Data Mining, Машинное обучение, Статистика |
| Поиск закономерностей | Ручной | Автоматический |
| ETL | Ограниченный | Продвинутый |
| Мобильное приложение | Да | Нет |
| Большие данные | Да | Да |
| Корпоративный стиль | Да | Нет |
Если требуется гибкая и мощная платформа для ETL-процессов, сложного анализа данных и построения моделей, лучше подходят системы продвинутой аналитики. Если же нужно быстро и удобно создавать отчеты и дашборды для визуализации данных и нет сложной обработки данных либо данные уже представлены в «чистом» виде, то BI-системы могут быть более подходящим вариантом. Важно также учитывать навыки и уровень экспертизы сотрудников при выборе инструмента.
Лучшим вариантом является использование продуктов обоих классов, т.к. в цепочке работы с данными системы продвинутой аналитики выполняют функцию ETL-инструмента и сложной обработки данных, а BI-системы отвечают за визуализацию полученной информации и доставку до потребителей.
Подобный вариант совместного применения продуктов разных классов реализован в Дальневосточной генерирующей компании, Positive Technologies и других организациях, где Loginom используется как ETL-инструмент с последующей визуализацией результатов в Visiology.
Пример интеграции Loginom и Visiology продемонстрирован в видео:
Другие материалы по теме:
Программирование в Loginom: Python vs JavaScript
Опыт проведения нагрузочных тестов в масштабных BI-проектах. Кейс Visiology
