Крупное обновление аналитической платформы Loginom. Добавлена поддержка базы данных ClickHouse и облачного хранилища Google BigQuery, реализована возможность работы с древовидными структурами данных, поддерживается экспорт результатов работы в Tableau, оптимизированы и доработаны существующие алгоритмы. Доступна новая бесплатная редакция — Loginom Community Edition.
При подготовке релиза основное внимание уделили вопросам интеграции и взаимодействия со сторонними продуктами и сервисами. Ниже приведен список наиболее важных, на наш взгляд, изменений:
В Loginom 6.3 реализована интеграция с ClickHouse. Колоночная база данных от Яндекса специально создана для онлайн-обработки аналитических запросов (OLAP) — то есть для аналитики, исследований и построения отчетов.
Благодаря нативной интеграции получилось добиться очень высокой скорости как импорта, так и экспорта данных. Доступна работа как с локальным вариантом, так и с кластером, развернутом в облачной инфраструктуре.
Популярным источником данных для аналитиков является хранилище данных Google BigQuery. Теперь Loginom может как получать данные из BigQuery, так и экспортировать обработанные наборы данных в облачное хранилище. Работа с хранилищем производится как с базой данных. Требуется установка Simba ODBC драйвера.
Обработанные в Loginom данные можно экспортировать напрямую в нативном для Tableau формате. В серверных редакциях Loginom можно автоматически публиковать результаты обработки на сервере Tableau.
Визуализация результатов анализа данных в Tableau
Необходимые компоненты Tableau SDK могут быть загружены через интернет в процессе установки Loginom.
Добавлена возможность логировать содержимое запросов и ответов. В REST-запросах стало возможно использовать кодировки, отличные от UTF-8. Существенно оптимизирована скорость работы при включенном логировании.
Возможность работы с REST-сервисами стала доступна во всех настольных редакциях платформы. Добавлена поддержка параметров, передаваемых в строке URL. Разрешено использование символа $ в именах параметров GET-запроса, благодаря чему стало можно использовать протокол OData.
Список получаемых полей может динамически обновляться в процессе выполнения запроса. Теперь можно выполнять запросы, текст которых задаётся в виде переменных. Оптимизировано получение списка таблиц баз данных Oracle.
Добавлена поддержка защищённых (SSL) соединений для MySQL и PostgreSQL, в том числе с возможностью шифрования приватного ключа при помощи дополнительного пароля.
В Loginom 6.3 появилась возможность работать с данными, представленными в виде сложных иерархических документов. Такие структуры можно получать или передавать, а также преобразовывать данные из табличного представления в древовидное и наоборот.
Древовидные структуры данных передаются между обработчиками через специальные порты, имеющие внешний вид треугольников. Новые структуры данных также доступны для публикации через Loginom Integrator.
Быстрый просмотр древовидной структуры
В режиме JavaScript можно использовать внешние модули CommonJS, ранее доступные только в компоненте JavaScript.
Порт с «Коэффициентами регрессионной модели» теперь содержит коэффициенты опорных категорий.
Оптимизирована фильтрация по номеру строки, а также ускорено вычисление логических выражений в ряде случаев.
Задача кластеризации — одна из самых популярных задач бизнеса: сегментация клиентов, выявление целевой аудитории, анализ товарных групп и тому подобные. Для того чтобы эффективно оценивать и применять результаты работы алгоритма, необходимо наглядное представление результатов кластеризации.
Наравне в визуализатором «Качество бинарной классификации», «Профили кластеров» выполняют роль приборной панели аналитика. Ориентируясь на ее показания, можно оценить качество полученных кластеров с различных точек зрения.
Визуализатор «Профили кластеров»
Реализована сортировка содержимого столбцов по клику на заголовках Куба. Поддерживается множественная сортировка, порядок сортировки отображается в виде иконки, а также в тексте подсказки при наведении.
Добавлена возможность настройки форматирования для измерений. Пункт меню «Форматировать факты» теперь называется «Форматирование» и содержит две вкладки: «Факты» и «Измерения».
Можно менять ширину панели измерений. Заданная ширина сохраняется при повторном открытии визуализатора. Также сохраняется ширина панели диаграммы.
В Loginom 6.3 появилась поддержка протокола аутентификации LDAP, причём в качестве сервера может использоваться как Active Directory, так и OpenLDAP. Начальная настройка интеграции производится пользователем с правами администратора.
Настройка нового пользователя LDAP
Появилась возможность задавать, а также переопределять стандартные переменные пакета. Настройка переменных пакета также доступна пользователям с правами «Просмотр отчётов» и в режиме пакетного выполнения, а не только в режиме редактирования сценария. Например, можно использовать переменные в качестве периода, за который необходимо сформировать отчёт.
Создание настраиваемой переменной пакета
Расширены возможности логирования и информативность сообщений лога, в сообщения об ошибках добавлены уникальные идентификаторы (GUID) узлов. В список логируемых событий добавлены операции с файлом сценария, а также изменения прав доступа пользователей. Реализован диагностический режим работы Loginom, который может быть использован для выявления ошибок благодаря подробной записи сообщений в лог.
Свойства и основные настройки узла, а также параметры портов стали доступны для просмотра без необходимости заходить в мастер настройки. Все параметры доступны в отдельном окне — «Инспекторе свойств», который добавлен на страницах «Сценарий» и «Подключения». По умолчанию инспектор свойств находится в свёрнутом состоянии и может быть развёрнут по нажатию значка в правой верхней части экрана или через пункт контекстного меню.
Инспектор свойств узла
Можно переместить узлы как внутри одного сценария, так и между различными рабочими пространствами. Поддерживается вырезание как отдельных узлов, так и групп узлов, содержащих подмодели и визуализаторы.
При открытой панели навигации через контекстное меню или по нажатию комбинации клавиш CTRL+F можно вызвать окно поиска узла. Доступен поиск по метке, имени или GUID узла. Такая возможность существенно упрощает локализацию ошибок: обнаружив в логах сообщение об ошибке, можно в несколько кликов найти узел, в котором она произошла.
Поиск узла сценария
Добавлена поддержка навигации по списку файлов и папок с использованием клавиатуры, а также создание папок с использованием контекстного меню.
Диалоги открытия и сохранения файлов заменены на системные диалоги операционной системы. Сохраняются размеры окна приложения. Поддерживается автоматическое открытие файлов пакетов .lgp, в том числе с обработкой параметров командной строки.
С самого первого релиза платформы была доступна бесплатная для некоммерческого использования редакция — Loginom Academic. В момент запуска казалось, что возможностей платформы достаточно для изучения и образовательных целей, а множество источников данных и интеграции могут потребоваться уже в рамках проектов.
Общение с пользователями показало несколько другую картину. Обилие веб-сервисов, наличие множества бесплатных баз данных и других источников — всё это требуется пользователям уже на первых шагах применения платформы. А самыми популярными источниками данных на начальном этапе работы с платформой являются не csv-файлы, а файлы Excel и базы 1С.
На смену Loginom Academic приходит новая бесплатная редакция — Loginom Community Edition:
Получить ссылку на Loginom Community Edition можно на странице Загрузки.
Изменен внешний вид страницы авторизации и домашнего экрана. Появилась возможность управлять списком последних открытых пакетов. Добавлено оповещение о выходе новой версии на домашнем экране.
Окно быстрого просмотра больше не блокирует веб-приложение, а открывается к рамках области построения Сценария. Окно быстрого просмотра можно максимизировать нажатием на соответствующую кнопку или при помощи двойного клика по верхней панели окна.
На панели веб-приложения перед строкой навигации добавлена кнопка «Сохранить пакет».
Исправлены обнаруженные ранее ошибки, повышена стабильность работы приложения.
