Loginom для перехода от Excel-хаоса к единой версии правды. Low-code решение сократило до секунд время формирования витрин данных для ведущего российского разработчика кибербезопасности.
Positive Technologies — российская компания, специализирующаяся на создании решений в сфере информационной безопасности. Является ведущим разработчиком продуктов и сервисов, которые помогают обнаруживать уязвимости, блокировать кибератаки и минимизировать риски для бизнеса.
Positive Technologies в цифрах (данные 2024 года):
Информация хранилась в множествах разрозненных источников: базах данных, веб-сервисах и многочисленных Excel-файлах, которые годами накапливались в разных отделах.
Файлы, особенно Excel, были настоящей головной болью. Они дублировались, терялись, обновлялись вручную, а иногда и вовсе содержали противоречивые данные. Никто не мог гарантировать, что отчет, подготовленный в одном подразделении, совпадет с цифрами из другого. Менеджеры тратили часы на поиск нужной информации, сверку чисел и ручной перенос данных между системами.
При этом бизнес рос стремительно: выручка увеличивалась, клиентская база расширялась, а вместе с ней усложнялись процессы и организационная структура. Обновилась CRM, но данные по-прежнему оставались в изолированных системах, слабо связанных между собой.
Из-за возросшей нагрузки нужная финансовая и операционная информация формировалась с задержками, а ее точность зависела от человеческого фактора. Если требовалось оперативно ответить на вопрос руководства, аналитикам приходилось вручную выгружать данные из нескольких систем, сводить их в таблицах и только потом строить визуализации.
Компания осознавала, что такой подход больше не работает. Нужна была единая система, которая бы автоматически собирала данные из всех источников, проверяла их качество и предоставляла руководству актуальную аналитику в одном месте — быстро, точно и без ручного вмешательства.
Для централизации данных и автоматизации процессов команда выбрала платформу Loginom.
Во-первых, продукт не подвержен санкционным рискам, так как это российское решение, которое к тому же активно развивается.
Во-вторых, это low-code платформа, что позволяет быстро начать работу с минимальными затратами на разработку. Это было критично для проекта на старте: команда состояла всего из трех человек — один дата-специалист и двое аналитиков. В таких условиях low-code подход позволил быстро запускать пилоты и получать рабочие результаты без длительной настройки инфраструктуры и написания большого объема кода.
Финальная архитектура решения:
Для удобства понимания приведем три примера практического применения Loginom для загрузки данных из разных источников.
Обработка файлов осуществляется по достаточно типовому алгоритму Loginom. Пользователь загружает файл в сетевое хранилище, а именно в свою сетевую папку.
Система по расписанию проверяет эту папку и определяет, были ли изменения. Если файл изменился, система загружает его; если нет — переходит к следующему. В данном случае изменений не было. Полученные данные затем сохраняются в ClickHouse.
Взаимодействие по REST API организовано как одна итерация цикла.
На входе система получает параметры, рассчитывает данные подключения, отправляет запрос сервису. Ответ парсится как JSON в плоскую таблицу, после чего определяется параметр для пагинации: при необходимости запускается следующая итерация, иначе цикл завершается. На выходе формируется итоговая таблица, которая сохраняется в ClickHouse.
Loginom в качестве источника данных использует CRM Creatio (база данных MS SQL).
На вход подается название исходной таблицы. На его основе вычисляется инкремент, в данном случае — максимальная дата обновления, имеющаяся в приемнике (ClickHouse). Фильтруются некорректные значения дат и формируется целевая таблица согласно стандартному сценарию.
Если инкремент не удалось получить, сценарий прекращает обработку. В случае успешного получения инкремента осуществляется анализ данных, фильтрация некорректных значений, идентификация целевой таблицы и последующая загрузка информации в ClickHouse. Все операции выполняются автоматически в рамках заданного алгоритма.
Проект показал: даже в большом и сложном бизнесе можно быстро навести порядок в данных — если выбрать правильные инструменты и не бояться автоматизировать рутину.
Скорость:
Качество:
Масштабируемость:
Внедрение Loginom позволило создать надежную инфраструктуру для работы с данными, сократить временные затраты на их обработку и обеспечить менеджмент актуальной и проверенной аналитикой. Это пример успешного внедрения инновационного решения в условиях роста компании и увеличения сложности данных.
Подробнее о том, как навести порядок в данных крупного и сложного бизнеса, расскажут Игорь Колупаев, руководитель отдела развития автоматизированных систем отображения данных Positive Technologies и Сергей Парахин, руководитель отдела бизнес-анализа и операционной эффективности Positive Technologies.
pdfКомплексная интеграция: от разрозненных данных к прозрачности бизнеса.pdf
Если вы хотите применять аналитическую low-code платформу Loginom для решения задач бизнеса, свяжитесь с нами.
Другие материалы по теме:
Отличия платформ продвинутой аналитики от BI-систем
Запись вебинара «Как внедрить КХД без интегратора и не пожалеть»
Героическая триада: ИИ, Low-code и русская ERP на пути к идеальным данным
