В крупных корпорациях, даже на первый взгляд простая проблема может оказаться сложной из-за необходимости учитывать бизнес-правила, согласованность информации, соответствие корпоративным стандартам и требования к безопасности. В этом контексте применение Loginom становится особенно актуальным, поскольку платформа имеет механизмы решения задач, характерных именно для enterprise-уровня.
ETL представляет собой необходимый этап практически любого проекта, связанного с обработкой информации. Если говорить о крупном бизнесе, то многообразие источников, высокая сложность процессов, нарушение логических связей между сущностями и огромные объемы данных делают любые задачи нетривиальными.
Зачастую используются десятки и даже сотни источников, включая ERP-системы, CRM-платформы, базы данных, Excel-файлы и другие форматы.
Несмотря на масштабы, сложность архитектуры, объемы данных и требования к надежности, Loginom эффективно решает задачи, связанные с качеством данных, их разной степенью детализации, несовместимостью структур и другими аспектами.
Существует три основных подхода к реализации ETL: программный, low-code и решения на основе более простых инструментов. Выбор нужного напрямую зависит от сложности задачи.
Программирование — это сложные задачи и высокий порог входа, который может быть стоп-фактором. Преимущества заключаются в высокой гибкости. Если у компании достаточно программистов высокого уровня, то этот стоп-фактор отсутствует и не нужно ничего менять.
Языки программирования предоставляют широкие возможности для обработки информации, но в крупных компаниях такой подход к разработке систем все чаще не успевает реагировать на изменения бизнес-требований. Новые задачи и запросы возникают быстрее, чем завершаются все этапы — от формирования технического задания до выпуска готового решения. Поэтому трендом для крупного бизнеса становятся low-code платформы.
Low-code платформы снижают порог входа, позволяют автоматизировать большую часть задач без написания кода и сокращают долгосрочные затраты на обработку информации.
Loginom — это low-code решение для сложных задач. При этом в платформе предусмотрена возможность встраивания пользовательского кода на Python и JavaScript, когда визуальных средств недостаточно.
Следует подчеркнуть, что Loginom не конкурирует с базовыми ETL, встроенными в BI-системы, поскольку его возможности выходят далеко за пределы обычных инструментов бизнес-аналитики. Платформа открывает качественно иной уровень.
Если задачи простые, например, выполнение базовых операций с данными, то вполне достаточно таких инструментов, как встроенные ETL-компоненты BI-систем или Excel. В таких случаях сложные решения будут избыточными и не приведут к получению каких-либо выгод.
Итак, навязывание low-code платформы программисту, предпочитающему традиционное кодирование, способно вызвать негативную реакцию из-за привычки к иному подходу. В ситуациях, когда для решения простой задачи предлагается сложный инструмент, пользователь может испытывать разочарование, считая его избыточным. Позиционирование Loginom ориентировано на решение сложных задач, когда потребность в написании кода желательно минимизировать или полностью исключить.
Loginom обеспечивает прямую интеграцию, а также с помощью ODBC, REST, SOAP, JSON и других протоколов с широким спектром источников. Система не привязана к конкретному BI-инструменту, что позволяет использовать ее в гетерогенных ИТ-ландшафтах, где может существовать множество аналитических решений, распределенных между отделами и филиалами.
ETL нередко рассматривается как процесс манипулирования данными в парадигме SQL. Своего рода вручную сконструированный оператор SELECT с операциями слияния, группировки, вычислений и фильтрации.
Безусловно, подобные действия являются наиболее распространенными, однако в корпоративном ETL обработка выходит далеко за рамки SQL.
Loginom предлагает расширенные методы, включая обеспечение качества информации, очистку и подготовку данных. К ним относятся дедупликация, заполнение пропусков, редактирование выбросов, сэмплинг и методы Data Mining, включая построение моделей. Это то, что часто встречается и используется в реальных проектах компаний enterprise-уровня при решении сложных задач. Все это можно сделать, не прибегая к программированию.
Очень важный функционал, критически необходимый для систем в крупных компаниях — повторное использование готовых решений. Основная идея — не изобретать в сотый раз велосипед. Практически всегда в процессе анализа данных имеются некоторые наработки, которые необходимо повторять. Например, логика верификации данных, сценарии расчета KPI и метрик, форматирования и прочих типовых операций.
Платформа Loginom предусматривает многократное использование готовых модулей и возможность обмениваться ими. Это способствует накоплению экспертизы в организации и снижает трудозатраты. Эффективность резко увеличивается за счет того, что готовое решение может использовать не один человек, а десять, двадцать, сто.
При необходимости Компоненты могут быть дополнены кодом на Python или JavaScript, однако это не является обязательным, поскольку большинство задач успешно решаются с использованием визуальных инструментов разработки.
Компоненты, предназначенные для повторного использования, могут быть разработаны как внутри организации, так и предоставлены в виде готовых решений, охватывающих стандартные и наиболее распространенные задачи.
В экосистему Loginom входит маркетплейс, включающий библиотеки компонентов. Например, Silver Kit — бесплатная коллекция компонентов для выполнения типовых задач, таких как ABC-анализ, генерация календарей, заполнение пропущенных периодов и другие. Также доступны другие комплекты, такие как Python Kits, Churn Kit и другие.
Крупная компания — это всегда коллективная среда, рассчитанная на взаимодействие большого количества пользователей. В Loginom реализовано все необходимое для совместной работы. Каждому участнику предоставляется индивидуальное файловое хранилище, при этом предусмотрена возможность создания общих папок для обмена данными и пакетами.
Платформа предусматривает разделение прав доступа с учетом различных категорий пользователей, с поддержкой LDAP и OpenID.
Одним из неочевидных, но важных положительных моментов Loginom является реализация интерфейса в виде веб-приложения.
При коллективной работе, когда компания насчитывает десятки, сотни, тысячи рабочих мест даже такая тривиальная задача, как развертывание или обновление может вылиться в проблему. Поддержка работы в браузере значительно снижает нагрузку, как минимум, на администраторов.
В enterprise-продуктах огромное значение имеет удобство отладки.
Логика ETL-сценариев в масштабных проектах, как правило, достаточно сложна — сотни узлов, десятки подмоделей. Проведение отладки в таких условиях, особенно если пользователь не является профессиональным программистом, представляет собой нетривиальную задачу.
В Loginom предусмотрена возможность удобного просмотра результатов вычислений каждого Узла. Дополнительно отладке помогает информация о количестве записей на каждом порту. Существует специальный режим отображения, в котором эта информация визуализируется. Пользователи отмечают, что такая, казалось бы, мелочь, значительно упрощает проектирование сценария, отладку и мониторинг.
При диспетчеризации процессов в рамках enterprise-систем необходимо учитывать особенности совместной работы. В условиях многопользовательской архитектуры возникает естественная конкуренция за ресурсы. Различным специалистам могут одновременно требоваться дисковое пространство, оперативная память или процессорное время, что приводит к конфликтам при распределении.
Кроме того, одновременное выполнение большого числа процессов может приводить к взаимным помехам. Например, запуск одного ресурсоемкого процесса способен заблокировать или приостановить выполнение другого, менее приоритетного, но критически важного для определенного подразделения.
В Loginom встроен диспетчер процессов, использующий продвинутые механизмы управления, что позволяет обеспечивать баланс интересов и эффективно использовать вычислительные ресурсы в enterprise-среде. С его помощью можно узнать кто сейчас работает, какие пакеты открыты, какие пакеты используются совместно, что в данный момент рассчитывается.
При необходимости администратор может остановить выполнение долгого сценария.
Одним из ключевых требований, предъявляемых к enterprise-продуктам, является гибкая система логирования. Простые ETL-решения зачастую игнорируют этот аспект, однако в корпоративной среде глубокий анализ событий — очень важный инструмент.
Платформа Loginom позволяет гибко настраивать уровни детализации логов и при желании можно фиксировать практически все операции, касающиеся не только выполнения сценариев, но и вопросов по безопасности, например, смену пароля или скачивание данных из файлового хранилища.
При развертывании сервера на операционной системе Linux может быть использован системный компонент Journald. Этот инструмент обладает широкими возможностями для сбора, хранения и анализа лог-файлов, позволяя организовать централизованное ведение журналов, интеграцию с базами данных и систему уведомлений. Для реализации указанных функций необходимы определенные знания и настройка, однако здесь речь именно о решениях enterprise-уровня.
Повышенные требования к безопасности — это, наверное, наиболее четкий маркер enterprise-систем. Защита данных всегда имела большое значение, но если раньше это было важным требованием, то теперь несоответствие определенным нормам стало практически стоп-фактором.
Поддержка LDAP, OpenID и Keycloak обеспечивает платформе соответствие современным стандартам безопасности. Также в Loginom реализовано множество функционала, интересного именно для специалистов по защите данных.
Платформу можно развернуть не только в облаке, но и на собственных серверах. Enterprise-клиенты чаще всего выбирают второй вариант.
Логируются все действия, которые могут показаться подозрительными. Предусмотрены разграничения прав доступа и контроля, блокировка экранов по таймаутам и ограничение количества попыток входа.
Кроме того, в Loginom пакеты можно шифровать. Сервис позволяет экспертам не просто делиться своими наработками как с коллегами, так и с рынком в целом, но в первую очередь скрывать детали реализации от посторонних глаз.
Шифрование полезно по двум причинам. Во-первых, пакеты могут содержать алгоритмы, которые разработчики не хотели бы разглашать, так как считают своей интеллектуальной собственностью. Во-вторых, когда необходимо гарантировать, что никто даже случайно не внесет изменения в логику расчетов и она будет работать точно так, как задумывал автор.
В Loginom предусмотрен встроенный планировщик, который предоставляет возможности автоматизация запуска ETL-процессов на любой вкус: по расписанию или по событию, интегрируясь с другими системами через веб-сервисы.
Есть специальная утилита для запуска BatchLauncher, используя которую можно настроить сложную логику, например, запускать контейнеры, управлять нагрузкой и прочие подобные операции.
Low-code платформа Loginom относится к числу самых быстрых в мире. Есть возможность бесплатно скачать ее, протестировать и убедиться в этом. Для достижения максимальных результатов бизнес стремится использовать лучшие технологии, и высокая скорость работы является одним из ключевых критериев при выборе платформы.
Лучшим аргументом, демонстрирующим быстродействие Loginom, является сравнение с другими аналогичными продуктами. В качестве конкурентов Loginom были выбраны компании, занимающие лидирующие позиции на мировом рынке и три задачи, реализуемые в каждой из платформ.
Задачи, которые в реальной жизни выполняются аналитиками практически ежедневно (построение отчетности по продажам, ABC и XYZ-анализ с минимальными настройками).
В тестировании на выполнение простого сценария обработки первое место заняла платформа Loginom с результатом 66 секунд. Второе место занимает Alteryx, показавшая время 73 секунды. Третьей стала Pentaho, выполнившая задачу за 170 секунд.
Эмуляция ситуации, при которой большие объемы данных единожды извлекаются из нескольких источников, а затем просчитываются множеством не очень сложных сценариев.
При работе с большими объемами данных первая позиция вновь принадлежит Loginom, завершившая выполнение за 117 секунд. Второй результат показала Pentaho — 197 секунд. На третьем месте оказалась RapidMiner с временем 1495 секунд. Платформа Alteryx не смогла завершить обработку данных.
Типичный кейс работы высоконагруженной системы.
В условиях высокой нагрузки Loginom также продемонстрировала наилучшее время — 226 секунд. RapidMiner с большим отставанием заняла второе место с результатом 5270 секунд. Остальные платформы либо превысили лимит времени в два часа, либо не смогли успешно осуществить обработку данных.
По результатам тестирования видно, что Loginom демонстрирует выдающуюся скорость в сравнении с любой аналитической low-code платформой мира. А с большинством конкурентов разница в быстродействии катастрофическая.
В бизнесе enterprise-уровня скорость особенно важна, так как часто речь идет о работе с большими объемами данных и реализации сложной логики. Если у конкурента есть преимущество в быстродействии, эффективность его компании резко увеличивается, потому что умножается на 100, 300, 500 рабочих мест.
Если говорить о масштабировании, его условно можно разделить на два вида: вертикальное и горизонтальное.
Вертикальное масштабирование подразумевает максимальное использование ресурсов существующего оборудования.
Loginom эффективно справляется с этой задачей, экономно расходует ресурсы и активно применяет параллельную обработку. Платформа обеспечивает правильное взаимодействие со всеми доступными источниками данных, включая низкоуровневые оптимизации, что гарантирует высокую эффективность.
Ниже представлен пример параллельной обработки данных в цикле с оптимальной загрузкой всех доступных вычислительных ядер.
Горизонтальное масштабирование предполагает создание кластеров серверов. Как правило, оно используется исключительно в корпоративных средах. В Loginom предусмотрена возможность создания таких кластеров, с разнообразными конфигурациями и их комбинациями.
Платформа Loginom работает на операционных системах Linux и Windows, а также в контейнерной среде с использованием Docker, Podman и Kubernetes. Это делает возможной реализацию гибкой и масштабируемой корпоративной инфраструктуры.
Одним из показателей стабильности бизнеса, в котором применяется аналитика, выступает скорость, с которой новый сотрудник способен разобраться в текущем решении, приступить к его сопровождению и продолжить развитие системы.
С ротацией кадров бороться невозможно. Она была, есть и будет. Это нормальный процесс. Единственный выход — обучение аналитиков.
Для решения этих проблем и в целях повышения устойчивости процессов компания Loginom ведет непрерывную разработку и совершенствование образовательных модулей и курсов, предлагая централизованную образовательную платформу Loginom Skills.
При этом если у компании есть серверная лицензия, а для enterprise-уровня это стандартная практика, она получает доступ к ресурсу с электронными курсами на весь период действия поддержки.
Если один из сотрудников увольняется, можно бесплатно подключить к обучению другого. Таким образом, новый работник уже через неделю или две сможет стать продуктивным. Такой подход обеспечивает доступ к электронным курсам не конкретного специалиста, а компании.
Помимо этого, доступно большое количество открытых материалов, позволяющих специалистам осваивать инструменты в удобном для них формате.
Компания Loginom формирует одно из крупнейших профессиональных сообществ среди российских разработчиков в области аналитических продуктов и интегрирована в образовательные программы более сотни вузов.
Важным преимуществом является технологическое партнерство с создателями BI-систем. Они осознают необходимость интеграции мощных ETL enterprise-уровня, таких как Loginom, для реализации крупных аналитических проектов, даже при наличии собственных ETL движков.
Платформа Loginom находит применение в широком спектре enterprise-продуктов. В рамках одной статьи невозможно показать их все. Приведены лишь два примера.
Positive Technologies — российская компания, специализирующаяся на разработке решений в сфере информационной безопасности. Занимает второе место в рейтинге крупнейших поставщиков средств защиты информации в России.
Positive Technologies использует платформу Loginom для сбора и загрузки информации из разрозненных источников, верификации данных, контроля изменений и выполнения других операций с последующей загрузкой в хранилище данных. Полученные результаты далее визуализируются с применением платформы Visiology.
Этот пример демонстрирует эффективную интеграцию платформы Loginom и BI-инструмента. Каждое решение выполняет строго определенную функцию, соответствующую его сильным сторонам. Loginom реализует все этапы, связанные с интеграцией, трансформацией и подготовкой данных. Visiology отвечает за представление информации в удобной визуальной форме.
Подобная схема взаимодействия может рассматриваться как эталон построения архитектуры для разработки корпоративных аналитических решений. Она демонстрирует, как использование специализированных инструментов позволяет достигать высокой эффективности и надежности при реализации задач enterprise-уровня.
Платежная система «Мир» является российской национальной системой для проведения платежей и выпуска карт. Система быстрых платежей (СБП) от Банка России позволяет переводить средства между счетами в разных кредитных организациях и осуществлять мгновенные платежи круглосуточно, включая использование QR-кодов. НСПК обеспечивает обработку операций по картам «Мир» и картам международных платежных систем. Совместно с Банком России она развивает Систему быстрых платежей, а также обеспечивает удобные и безопасные платежи по универсальному QR-коду и с помощью биоэквайринга.
С помощью высокоскоростной платформы Loginom в НСПК осуществляется интеграция информации из множества разнородных источников, реализованы сложные алгоритмы преобразования, выполняется обогащение набора данных и автоматизация внутренних процессов.
Примечательно, что весь комплекс работ был выполнен исключительно силами сотрудников НСПК без привлечения сторонних подрядчиков, что свидетельствует о высокой технологичности, результативности и удобстве использования платформы Loginom.
В сегменте аналитики low-code платформа Loginom, если не самая быстрая, то одна из самых быстрых в мире. Большинство конкурентов существенно отстают в скорости обработки данных и производительности, что особенно критично при работе с большими объемами информации.
Компания на протяжении десятилетий успешно разрабатывает системы глубокого анализа больших данных, подходящие для бизнеса любого масштаба, и является катализатором роста для крупных корпораций. Она помогает внедрять инновации и принимать более обоснованные управленческие решения, направленные на увеличение прибыли, снижение издержек и минимизацию рисков. Многие небольшие организации, благодаря внедрению платформы, за время использования вышли на уровень enterprise-бизнеса.
Лидерство Loginom в сфере применения ETL-решений доказано не только тестированием, проведенным внутри компании, но и подтверждено исследовательским проектом «Круги Громова».
Платформа отличается развитой системой технической поддержки, качественным консалтингом, а также предлагает собственную образовательную среду. Кроме того, Loginom разрабатывает индивидуальные решения, которые адаптируются под потребности конкретного клиента. В итоге заказчик может получить уникальный, кастомный продукт, доработанный под любые особенности своей компании.
Разработкой, поддержкой и контролем платформы Loginom занимаются эксперты, участвовавшие в ее создании с нуля. Они понимают систему на уровне исходного кода, архитектурных решений, знают все ее внутренние механизмы. Благодаря их опыту команда Loginom способна адаптировать платформу под самые нестандартные, экзотические и сложные задачи бизнеса.
Подробнее в видео:
Другие материалы по теме:
Loginom — визуальный ETL: просто добавь компонент
