Опыт интеграции ETL Loginom и BI Visiology

Visiology — это российский разработчик программного обеспечения для анализа и визуализации данных.

Visiology в цифрах:

• 14 лет в визуализации данных;
• 7 лет в бизнес-аналитике;
• 200+ проектов внедрения BI;
• 500+ клиентов.

Направление деятельности

Компания Visiology занимается разработкой решений класса BI, к таким системам выдвигаются ряд требований:

• Единая «точка правды». Любой отчет, построенный на основе данных из BI, является эталонным и актуальным в любой момент времени.
• Мгновенный доступ к информации. Руководство сразу получает ответы на важные бизнес-вопросы, управленческие решения принимаются быстро, на основе фактов и цифр.
• Инструменты поддержки принятия решений. Вывод информации на мобильные устройства руководителя, использование предсказательных сценариев и обучаемых математических моделей.
• Универсальное решение. Сотрудники создают отчеты без привлечения ИТ специалистов, доступ к информации разграничивается по ролевому признаку.

Аналитическая платформа Visiology — это использование разнородных источников информации. В любом проекте 80% времени уходит на преобразование данных, а 20% — на их анализ. За ETL отвечает low-code платформа Loginom.

По мнению компании Visiology, ETL инструмент должен быть:

1. Простой для изучения. Кривая входа не должна быть крутой.
2. На все есть коннекторы. Минимум повторной разработки, для всех систем должно быть готовое подключение.
3. Универсальный. Не надо переучиваться.
4. Не ограничивает развитие. Усложнение кейсов не требует замены инструмента.

По всем этим параметрам платформа Loginom полностью соответствует требованиям Visiology. Компании уже много лет успешно сотрудничают. Рассмотрим реальный кейс интеграции Loginom и Visiology.

Кейс компании Positive Technologies

Заказчиком является разработчик решений для информационной безопасности. После нескольких успешных внедрений систем бизнес-аналитики на базе Microsoft Power BI и Qlik Sense руководство Positive Technologies приняло решение о создании и развитии целостной BI-платформы.

Компания ставила следующие требования для нового решения:

1. Возможность создания внутренней отчетности PT (Positive Technologies).
2. Возрождение продуктов компании PT SIP (Positive Technologies Security Intelligence Portal) и PT RP (Positive Technologies Reporting Portal).
3. Российский производитель или Open Source.
4. Низкий уровень зависимости от поставщика.

Но основными критериями выбора являлись высокая производительность и возможность встраивания дашбордов.

Данные требования вылились в следующие задачи проекта:

• Создать корпоративное хранилище данных (КХД \ DWH).
• Устранить разрозненность данных.
• Автоматизировать сбор информации.
• Обеспечить демократизацию данных.
• Построить BI витрины с возможностью самостоятельного развития их в подразделениях (Self-service).
• Создать единую версия правды.
• Получить полноценный Data Quality контроль.
• Добавить новые источники.

Компания Positive Technologies подошла ответственно к решению, сотрудники проанализировали заметных игроков отечественного рынка и отметили для себя несколько платформ. Внутренними силами началось их тестирования, и аналитики для себя выделили возможные решения. Была построена предварительная архитектура:

При принятии решения компания опиралась на функционал и экспертизу. Для задач ETL (извлечение, обработка и транспортировка данных) был выбран Loginom. В качестве корпоративного хранилища данных — ClickHouse: колоночная СУБД обеспечивает достаточную производительность и гибкость для дальнейшего увеличения объемов данных. Витрины данных — Visiology. Финальная архитектура выглядела следующим образом:

На конец 2023 года решение используется по нескольким направлениям:

1. Разработка. Опираясь на визуализацию промежуточных результатов, лиды и менеджеры могут эффективно перераспределять ресурсы между разработчиками и командой поддержки.
2. Продажи. По запросам бизнеса происходит декомпозиция воронки продаж по отраслям и продуктам. BI-платформа позволяет в реальном времени отслеживать динамику выручки, а также ее соответствие запланированным показателям. Благодаря этому руководители могут оперативно корректировать стратегию продаж.
3. Работа с кадрами. Визуализация процесса набора персонала и динамические визуализации опросов среди сотрудников является важными инструментами для HR.
4. Поддержка пользователей. Визуализация количества задач по типам и клиентам, оперативное реагирование на отклонение от заявленных SLA (Service Level Agreement) и усиление команд еще при первых признаках перезагрузки.

Выстроенная отделом цифровой трансформации Positive Technologies архитектура позволяет решать все аналитические задачи при помощи штатного функционала Visiology и Loginom. Компания довольна своим выбором.

Совместная работа Loginom и Visiology

Visiology является технологическим партнером Loginom Company и интегрирует в свои решения высокоскоростную low-code платформу. Компании тесно сотрудничают, стремясь удовлетворить потребностям своих клиентов. Существуют различные интеграции Visiology и Loginom в реальных проектах.

Одним из совместных решений является интеграционный модуль, в котором реализована выгрузка предобработанных данных, и результатов продвинутой аналитики из Loginom в платформу Visiology для дальнейшей работы, визуализации и создания дашбордов. Кроме того, обе компании  активно сотрудничают со студентами.

Многие университеты, включая РЭУ им. Г.В. Плеханова, интегрировали в свои учебные программы инструменты Loginom и Visiology. В течение 2022-2023 учебного года около 50 студентов прошли обучение, в рамках которого они выполняли практические курсовые работы. Задачей студентов было анализировать и обрабатывать данные из различных источников, таких как CRM, 1С и файлы Excel, а затем визуализировать полученные результаты.

Например, данные по продажам билетов на вокзалах или структуре организации в институте.

Подробнее об опыте интеграции ETL Loginom и BI Visiology в выступлении Сергея Власова, ведущего эксперта анализа данных в Visiology:

pdfОпыт интеграции ETL Loginom и BI Visiology в эпоху больших данных.pdf

Если вы хотите применять аналитическую low-code платформу Loginom для решения задач бизнеса, свяжитесь с нами.

Другие материалы по теме:

Простой визуальный ETL для BI. Интеграция Loginom и Visiology. Вебинар

Опыт анализа ИТ-инфраструктуры с использованием low-code платформы Loginom. Кейс ДГК