Что нового в Loginom 6.3

20 февраля 2020
4 комментария

Крупное обновление аналитической платформы Loginom. Добавлена поддержка базы данных ClickHouse и облачного хранилища Google BigQuery, реализована возможность работы с древовидными структурами данных, поддерживается экспорт результатов работы в Tableau, оптимизированы и доработаны существующие алгоритмы. Доступна новая бесплатная редакция — Loginom Community Edition.

При подготовке релиза основное внимание уделили вопросам интеграции и взаимодействия со сторонними продуктами и сервисами. Ниже приведен список наиболее важных, на наш взгляд, изменений:

  1. Интеграция с ClickHouse, BigQuery и Tableau
  2. Поддержка Древовидных структур данных
  3. Новый специализированный визуализатор — Профили кластеров
  4. Аутентификация с использованием LDAP
  5. Свойства и основные настройки узла в Инспекторе свойств
  6. Новая бесплатная редакция — Loginom Community Edition

Интеграционные возможности

 

ClickHouse

В Loginom 6.3 реализована интеграция с ClickHouse. Колоночная база данных от Яндекса специально создана для онлайн-обработки аналитических запросов (OLAP) — то есть для аналитики, исследований и построения отчетов.

Благодаря нативной интеграции получилось добиться очень высокой скорости как импорта, так и экспорта данных. Доступна работа как с локальным вариантом, так и с кластером, развернутом в облачной инфраструктуре.

 

BigQuery

Популярным источником данных для аналитиков является хранилище данных Google BigQuery. Теперь Loginom может как получать данные из BigQuery, так и экспортировать обработанные наборы данных в облачное хранилище. Работа с хранилищем производится как с базой данных. Требуется установка Simba ODBC драйвера.

 

Tableau

Обработанные в Loginom данные можно экспортировать напрямую в нативном для Tableau формате. В серверных редакциях Loginom можно автоматически публиковать результаты обработки на сервере Tableau.

Визуализация результатов анализа данных в Tableau

Визуализация результатов анализа данных в Tableau

Необходимые компоненты Tableau SDK могут быть загружены через интернет в процессе установки Loginom.

Integrator

Добавлена возможность логировать содержимое запросов и ответов. В REST-запросах стало возможно использовать кодировки, отличные от UTF-8. Существенно оптимизирована скорость работы при включенном логировании.

REST-запросы

Возможность работы с REST-сервисами стала доступна во всех настольных редакциях платформы. Добавлена поддержка параметров, передаваемых в строке URL. Разрешено использование символа $ в именах параметров GET-запроса, благодаря чему стало можно использовать протокол OData.

Импорт из баз данных и 1С

Список получаемых полей может динамически обновляться в процессе выполнения запроса. Теперь можно выполнять запросы, текст которых задаётся в виде переменных. Оптимизировано получение списка таблиц баз данных Oracle.

Защищённые подключения к MySQL и PostgreSQL

Добавлена поддержка защищённых (SSL) соединений для MySQL и PostgreSQL, в том числе с возможностью шифрования приватного ключа при помощи дополнительного пароля.

Обработка данных

 

Data tree

В Loginom 6.3 появилась возможность работать с данными, представленными в виде сложных иерархических документов. Такие структуры можно получать или передавать, а также преобразовывать данные из табличного представления в древовидное и наоборот.

Древовидные структуры данных передаются между обработчиками через специальные порты, имеющие внешний вид треугольников. Новые структуры данных также доступны для публикации через Loginom Integrator.

Быстрый просмотр древовидной структуры

Быстрый просмотр древовидной структуры

Калькулятор

В режиме JavaScript можно использовать внешние модули CommonJS, ранее доступные только в компоненте JavaScript.

Линейная и Логистическая регрессии

Порт с «Коэффициентами регрессионной модели» теперь содержит коэффициенты опорных категорий.

Фильтр

Оптимизирована фильтрация по номеру строки, а также ускорено вычисление логических выражений в ряде случаев.

Визуализация

 

Визуализатор «Профили кластеров»

Задача кластеризации — одна из самых популярных задач бизнеса: сегментация клиентов, выявление целевой аудитории, анализ товарных групп и тому подобные. Для того чтобы эффективно оценивать и применять результаты работы алгоритма, необходимо наглядное представление результатов кластеризации.

Наравне в визуализатором «Качество бинарной классификации», «Профили кластеров» выполняют роль приборной панели аналитика. Ориентируясь на ее показания, можно оценить качество полученных кластеров с различных точек зрения.

Визуализатор «Профили кластеров»

Визуализатор «Профили кластеров»

Куб

Реализована сортировка содержимого столбцов по клику на заголовках Куба. Поддерживается множественная сортировка, порядок сортировки отображается в виде иконки, а также в тексте подсказки при наведении.

Добавлена возможность настройки форматирования для измерений. Пункт меню «Форматировать факты» теперь называется «Форматирование» и содержит две вкладки: «Факты» и «Измерения».

Можно менять ширину панели измерений. Заданная ширина сохраняется при повторном открытии визуализатора. Также сохраняется ширина панели диаграммы.

Администрирование

 

LDAP

В Loginom 6.3 появилась поддержка протокола аутентификации LDAP, причём в качестве сервера может использоваться как Active Directory, так и OpenLDAP. Начальная настройка интеграции производится пользователем с правами администратора.

Настройка нового пользователя LDAP

Настройка нового пользователя LDAP

Настраиваемые переменные пакета

Появилась возможность задавать, а также переопределять стандартные переменные пакета. Настройка переменных пакета также доступна пользователям с правами «Просмотр отчётов» и в режиме пакетного выполнения, а не только в режиме редактирования сценария. Например, можно использовать переменные в качестве периода, за который необходимо сформировать отчёт.

Создание настраиваемой переменной пакета

Создание настраиваемой переменной пакета

Логирование

Расширены возможности логирования и информативность сообщений лога, в сообщения об ошибках добавлены уникальные идентификаторы (GUID) узлов. В список логируемых событий добавлены операции с файлом сценария, а также изменения прав доступа пользователей. Реализован диагностический режим работы Loginom, который может быть использован для выявления ошибок благодаря подробной записи сообщений в лог.

Удобство использования

 

Инспектор свойств

Свойства и основные настройки узла, а также параметры портов стали доступны для просмотра без необходимости заходить в мастер настройки. Все параметры доступны в отдельном окне — «Инспекторе свойств», который добавлен на страницах «Сценарий» и «Подключения». По умолчанию инспектор свойств находится в свёрнутом состоянии и может быть развёрнут по нажатию значка в правой верхней части экрана или через пункт контекстного меню.

Инспектор свойств узла

Инспектор свойств узла

Вырезание и вставка узлов

Можно переместить узлы как внутри одного сценария, так и между различными рабочими пространствами. Поддерживается вырезание как отдельных узлов, так и групп узлов, содержащих подмодели и визуализаторы.

Найти узел

При открытой панели навигации через контекстное меню или по нажатию комбинации клавиш CTRL+F можно вызвать окно поиска узла. Доступен поиск по метке, имени или GUID узла. Такая возможность существенно упрощает локализацию ошибок: обнаружив в логах сообщение об ошибке, можно в несколько кликов найти узел, в котором она произошла.

Поиск узла сценария

Поиск узла сценария

Файловый диалог

Добавлена поддержка навигации по списку файлов и папок с использованием клавиатуры, а также создание папок с использованием контекстного меню.

Редакции

Personal

Диалоги открытия и сохранения файлов заменены на системные диалоги операционной системы. Сохраняются размеры окна приложения. Поддерживается автоматическое открытие файлов пакетов .lgp, в том числе с обработкой параметров командной строки.

 

Academic и Community Edition

С самого первого релиза платформы была доступна бесплатная для некоммерческого использования редакция — Loginom Academic. В момент запуска казалось, что возможностей платформы достаточно для изучения и образовательных целей, а множество источников данных и интеграции могут потребоваться уже в рамках проектов.

Общение с пользователями показало несколько другую картину. Обилие веб-сервисов, наличие множества бесплатных баз данных и других источников — всё это требуется пользователям уже на первых шагах применения платформы. А самыми популярными источниками данных на начальном этапе работы с платформой являются не csv-файлы, а файлы Excel и базы 1С.

На смену Loginom Academic приходит новая бесплатная редакция — Loginom Community Edition:

  • Нет ограничения в 2 Гб оперативной памяти
  • Большой список источников данных, включая Excel и 1С:Предприятие
  • Доступ к ClickHouse и экспорт в Tableau
  • Подключение и вызов REST-сервисов

Получить ссылку на Loginom Community Edition можно на странице Загрузки.

Прочие изменения

Изменен внешний вид страницы авторизации и домашнего экрана. Появилась возможность управлять списком последних открытых пакетов. Добавлено оповещение о выходе новой версии на домашнем экране.

Окно быстрого просмотра больше не блокирует веб-приложение, а открывается к рамках области построения Сценария. Окно быстрого просмотра можно максимизировать нажатием на соответствующую кнопку или при помощи двойного клика по верхней панели окна.

На панели веб-приложения перед строкой навигации добавлена кнопка «Сохранить пакет».

Исправлены обнаруженные ранее ошибки, повышена стабильность работы приложения.

#loginom#release notes#6.3

Смотрите также