Архитектура Loginom

Клиентское веб-приложение, предназначенное для проектирования сценариев обработки, визуализации данных, настройки сервера, управления правами пользователей и прочее. Реальная обработка данных выполняется Loginom Server-ом.

Поддерживаются браузеры: Chrome, Firefox, Opera, Safari, Edge, Yandex и прочие браузеры на базе Chromium. Подробнее

Обращаться к Loginom можно при помощи собственных SOAP и REST сервисов. Поддерживаются SOAP + WSDL описание и REST JSON + OpenAPI описание.

В публикуемом в качестве веб-сервиса узле пакета реализуется логика обработки данных запроса к веб-сервису. Чаще всего таким узлом является подмодель, поскольку в ней возможно реализовать произвольную логику обработки. Входные порты подмодели задают структуру запроса к сервису, а выходные — структуру ответа.

Для публикации собственных веб-сервисов необходимо наличие Loginom Integrator. Подробнее

Стандартные компоненты — библиотека базовых компонентов Loginom, позволяющих выполнять различные операции над данными. Компоненты разделены на группы по функционалу: Трансформация, Управление, Исследование, Предобработка, Data Mining, Программирование, Переменные, Дерево данных, Интеграция. Поддерживается два языка программирования: Pyhton и JavaScript.

Настройка логики обработки осуществляется при помощи проектирования сценария — последовательности действий, которые необходимо провести для анализа данных. Сценарий обработки представляет собой комбинацию узлов обработки данных, настраиваемую пользователем для решения конкретной задачи. Подробнее

Файловое хранилище место, где располагаются пользовательские пакеты и файлы с данными. Перед тем, как использовать какой-либо файл в сценарии, его необходимо предварительно поместить в файловое хранилище на сервере. Для работы с файловым хранилищем предусмотрен файловый менеджер.

Каждому пользователю предоставляется изолированное место на сервере, недоступное остальным. При необходимости обмена файлами можно создать общие папки и настроить соответствующий доступ к ним. Подробнее

Планировщик предлагает более простой и интуитивно понятный интерфейс для автоматического выполнения сценариев без отображения пользовательского интерфейса и вывода сообщений на экран.

Он ориентирован на самостоятельное использование аналитиками, позволяя им настраивать сложные ETL- или ELT-процессы сбора данных, а также сценарии обучения AI-моделей без привлечения IT-департамента и написания кода. Настройка осуществляется в интерактивном режиме без необходимости использовать скриптовые языки. Подробнее

Веб-сервер используется для предоставления статических данных, таких как JavaScript-файлов, таблиц стилей или иконок. При необходимости он же может выступать в качестве прокси между браузером и Loginom Server. Подробнее

Loginom Integrator позволяет публиковать собственные веб-сервисы реализующие логику, разработанную в сценариях на Loginom Server и обращаться у ним посредством API (SOAP + WSDL или REST JSON + OpenAPI). Интегратор дает возможность реализовать архитектуру, обеспечивающую отказоустойчивость, балансировку нагрузки и горизонтальное масштабирование. Подробнее

Loginom поддерживает работу с реляционными и колоночными СУБД. Подключение возможно как с использованием установленных клиентов, соответствующих баз, так и напрямую, без них. Кроме того поддерживается интеграция при помощи ODBC.

Обеспечивается импорт из выбранных таблиц или при помощи SQL-запроса, экспорт в базу данных, а также написания скриптов для реализации произвольной логики. Подробнее

Поддерживается импорт из текстовых csv-файлов, книг Excel, xml и собственного формата данных — Loginom Data File. Платформа предоставляет возможность работы с файлами через файловое хранилище, включая загрузку файлов методом Drag and Drop, а также загрузку по URL.

Предусмотрены гибкие параметры настройки импорта и экспорта, поддерживается импорт множества файлов за счет задание маски загрузки. Подробнее

Loginom поддерживает работу с Apache Kafka, используя компонент «Kafka Source» для чтения данных из топиков и «Kafka Target» для записи данных в топики. Подробнее

Платформа Loginom предоставляет возможность интеграции с SOAP или REST сервисами. Реализованы наиболее распространенные варианты взаимодействия с ними. Для этого необходимо создать соответствующие подключения в Loginom, а затем настроить узлы импорта или экспорта данных для взаимодействия с веб-сервисами.

Если внешний нестандартный веб-сервис использует индивидуальные протоколы и шифрование данных, с которыми невозможно взаимодействовать встроенными компонентами Loginom, то интеграцию можно реализовать за счет написания кода на JavaScript или Python. Подробнее

Loginom позволяет выполнить запрос к информационной базе 1С:Предприятие 8.x на языке запросов 1С для импорта данных. Подключение реализовано через COM-соединение. Подробнее

Loginom может экспортировать их в формате, совместимом с Tableau, для дальнейшего анализа и создания визуализаций. В серверных редакциях Loginom также есть возможность автоматической публикации обработанных результатов на сервере Tableau. Подробнее

Поддерживается работа с хранилищем данных. На физическом уровне Warehouse представляет собой реляционную базу данных на платформе Firebird, MS SQL или Oracle. Импорт и экспорт осуществляется посредством обращения к семантическому слою, позволяющему аналитику пользоваться данными посредством бизнес-терминов предметной области.

Благодаря этому слою, пользователь оперирует не полями и колонками та��лиц базы данных, а многомерными понятиями, например, такими как измерение или факт. А система автоматически производит все требуемые манипуляции, необходимые для работы с реляционной СУБД. Подробнее

В маркетплейсе представлено множество коннекторов и расширений, позволяющих интегрироваться с внешними сервисами, такими как бюро кредитных историй, государственные органы, поставщики данных, BI платформы и прочее.

Для интеграции необходимо скачать соответствующий пакет, подключить пакет и перенести готовый компонент в сценарий и связать с данными. В зависимости от возможностей системы, в которой реализована интеграция поддерживаются возможности импорта или экспорта данных. Подробнее

Поддерживается возможность ведения пользователей на сервере Loginom.

В Enterprise-редакции Loginom доступны расширенные механизмы аутентификации: LDAP (Active Directory, OpenLDAP) или OpenID Connect + OAuth 2.0. Возможность использования KeyCloak — собственного сервера с OpenID-аутентификацией. Подробнее

В дистрибутив Loginom под Linux включены скрипты для создания собственных образов.

Возможно создание контейнеров, включающих не только компоненты платформы Loginom, но и вспомогательное ПО: клиенты для доступа к базам данных, интерпретатор Python с инсталлированными библиотеками, пакеты Loginom, файлы с данными и прочее.

Для построения эластичной инфраструктуры рекомендуется использовать Kubernetes, что позволит автоматически масштабировать в ответ на изменения нагрузки, обеспечивать высокую доступность сервисов и оптимизацию ресурсов. Подробнее

Платформа имеет механизмы логирования, позволяющие записывать в файл информацию с нужным уровнем детализации: трассировка, отладка, информация, событие, предупреждение, ошибка, авария. Лог-файлы содержат подробную информацию, включающую имя пользователя, номер сессии, время, GUID узла, текст сообщения, класс исключения и прочее. Подробнее

Платформа имеет механизмы логирования, позволяющие записывать в файл информацию с нужным уровнем детализации: трассировка, отладка, информация, событие, предупреждение, ошибка, авария. Лог-файлы содержат подробную информацию, включающую имя пользователя, номер сессии, время, GUID узла, текст сообщения, класс исключения и прочее.

В Linux редакциях, помимо записи в файл, поддерживается системный демон журналов systemd — Journald. Его применение позволяет решать задачи централизованного управления логами, просмотра логов в режиме реального времени, фильтрации и поиска, отправки логов на сторонний сервер и анализа при помощи множества готовых инструментов анализа. Подробнее

Для мониторинга работы системы, построенной на базе Loginom, используется связка Elastic, Prometheus и Grafana. Это продукты позволяют собирать, визуализировать и анализировать данные о работе приложений и инфраструктуры. Prometheus собирает метрики, Grafana визуализирует их, а Elasticsearch может использоваться для хранения и анализа журналов, связанных с этими метриками, обеспечивая комплексный подход к мониторингу.