Что нового в Loginom 6.1?

Выпущена первая минорная версия платформы. Существенно расширены возможности как в части алгоритмов, так и в части интеграции с новыми источниками данных.

Чуть менее четырех месяцев назад состоялся релиз платформы, всё это время мы непрерывно работали на совершенствованием платформы. Было выпущено три патч-версии, основное внимание уделялось повышению стабильности, совершенствованию существующих и появлению новых обработчиков и визуализаторов, а также интеграции с новыми источниками данных. Помимо этого, на всем протяжении разработки платформы большое внимание уделялось и будет уделяться удобству работы пользователей.

Новые возможности Loginom 6.1

Автосинхронизация

Сценарии в Loginom представляют собой набор узлов связанных между собой потоками данных, в связи с этим возникает вопрос с синхронизацией этих наборов данных между узлами. По мере выполнения сценария, список полей передается от узла к узлу и в большинстве случаев от пользователя не требуется выполнять синхронизацию и настройку списка полей.

Мастер настройки полей будет продемонстрирован пользователю только в том случае, если обработчик требует определить назначения входных полей, либо в процессе выполнения автоматической синхронизации остались вопросы, требующие вмешательства пользователя.

При выборе назначения полей в мастере настройки стали учитываться ограничения на типы и виды данных, для выбора доступны только те варианты, которые соответствуют ограничениям узла. После того, как пользователь настроит поле, оно становится обязательным и выделяется в мастере настройки жирным шрифтом.

Нормализация и денормализация

Много внимания было уделено развитию и улучшению алгоритмов продвинутого анализа. В новой версии появились механизмы нормализации и денормализации данных, которые требуются для работы многих алгоритмов Data mining.

В ряде обработчиков без этого функционала было невозможно обрабатывать дискретные наборы данных. С выходом новой версии появилась возможность обработки дискретных полей в обработчиках «Нейросеть» и «Кластеризация».

Мастер настройки нормализации

Доступные методы нормализации непрерывных данных:

  • нормализация [MIN; MAX]
  • нормализация [0; 1]
  • нормализация [-1; 1]
  • абсолютное масштабирование
  • стандартизация
  • отношение

Доступные методы нормализации дискретных данных:

  • индикатор
  • индикатор без опорной категории
  • отклонение
  • простой
  • разность
  • обратная разность
  • helmert
  • обратный helmert
  • индекс уникального значения

Разбиение на множества

Помимо отдельного обработчика, позволяющего производить разделение набора данных на различные выборки, этот механизм был встроен во все обработчики, использующие механизмы обучения и тестирования, а также появилась возможность задавать размеры множеств (и размеры групп множеств) при помощи переменных.

Кросс-валидация

Многие модели машинного обучения склонны к переобучению, в связи с чем может существенно снижаться качество готовой модели. Одним из способов борьбы с этим, является использование механизмов кросс-валидации. В новой версии добавлены наиболее распространенные методы кросс-валидации: k-fold (с последовательным и случайным выбором) и Монте-карло.

Кросс-валидация позволяет существенно повысить качество моделей без усложнения работы пользователя

Мастер настройки разбиения на множества и кросс-валидации

Логистическая регрессия

Одним из самых популярных алгоритмов, применяемых при решении задачи бинарной классификации (предполагающей ответ вида «Да» — «Нет»), является Логистическая регрессия. При добавлении этого алгоритма, мы постарались в первую очередь упростить его использование, в том числе проработав автоматизацию настройки. Предлагается три возможных варианта использования: с автоматической, ручной и детальной настройкой параметров работы алгоритма.

Получить приемлемый результат можно даже с автоматическими настройками

Настройка параметров Логистической регрессии

Отчет по регрессии

Недостаточно просто внедрить алгоритм обработки, для практического использования не менее важна возможность удобного просмотра результатов обработки и интерпретации результата. Все показатели, необходимые для принятия решений и оценки построенной модели доступны на одном экране. Помимо этого, при использовании механизма отбора факторов, доступна информация о причинах выбора того или иного варианта.

Отчет о результатах построения Логистической регрессии

Разбиение на конечные классы

Очень часто на вход моделей подаются не сами данные, а признаки принадлежности данных к какому-либо классу. Например не сумму кредита, а принадлежность суммы к какому-то диапазону сумм. При этом приходится находить компромисс между информативностью показателей и их интерпретируемостью. Для упрощения задачи разбиения данных на классы реализован специализированный обработчик. При этом для пользователя использование обработчика максимально упрощено, по-умолчанию формируется оптимальное с точки зрения математики разбиение, при этом доступна возможность ручной корректировки.

Настройка разбиения производится интерактивно и все показатели доступны на одном экране

Настройка обработчика Конечные классы

Куб

Существенно доработан наиболее популярный способ представления результатов обработки — OLAP куб. Добавлена возможность приостановки автообновления, позволяющая в некоторых случаях существенно повысить как удобство, так и скорость работы с отчетом.

Оптимизирован механизм drag&drop, реализована возможность сворачивания и разворачивания измерений до заданного уровня детализации, стало возможным множественное редактирование формата представления фактов куба.

Визуализация данных в виде OLAP

Интеграция с 1С

Продукты 1С являются самыми популярными учетными системами на территории России и СНГ, поэтому многие наши клиенты ждали появления интеграции с ними. В новой версии появилась возможность получения данных из 1С.Предприятие 8.x. Подключение производится через механизмы сервера 1С, поэтому не зависит от варианта развертывания (информационная база, файловое хранилище, кластер серверов). Поддерживается написание запросов на языке 1С с использованием умных подсказок, а также доступно использование переменных в тексте запроса.

Пример сценария

Настройка подключения

Пример запроса

Запуск внешних программ

Несмотря на широкие возможности платформы Loginom, в некоторых случаях может потребоваться запуск внешних приложений или скриптов. Для решения таких задач в новой версии появилась возможность запуска внешних программ. Например, данный механизм позволяет запускать ранее разработанные сценарии на платформе Deductor. В связи с потенциальной опасностью вызова внешних приложений, данная возможность по-умолчанию отключена в серверных версиях платформы и требует принудительной активации из интерфейса администрирования.

Настройка выполнения внешних комманд

Прочие изменения

Быстродействие

Оптимизирована скорость загрузки пакетов с большим количеством подмоделей. В ходе тестирования удалось сократить время загрузки тестового пакета с 2000 подмоделей более чем в 35 раз (с 430 сек до 12 сек).

Desktop

В настольной версии пользователям стал доступен раздел администрирования, в частности, возможна настройка параметров логирования.

Подмодель

В производной Подмодели разрешено удаление узлов и связей, полученных из базовой Подмодели.

Сценарий

Реализована возможность открытие подмодели в соседней вкладке, как в браузерах (при помощи нажатия на ссылку с зажатой клавишей Ctrl, нажатием на среднюю кнопку или колесико мышки).

Замена

При ручном вводе таблицы замен для колонки, добавлена возможность выбирать заменяемые значения из списка уникальных значений этой колонки.

Факторный анализ

Добавлена возможность применять модель в Факторном Анализе при изменении настроек без переобучения модели.

Материалы с прошедшей презентации

15 мая Алексей Арустамов провел вебинар, посвященный выходу данного релиза. Можете ознакомиться с видеозаписью и загрузить слайды к прошедшему мероприятию. Бесплатная версия Loginom 6.1 Academic уже доступна для загрузки.

 

pdf Loginom 6.1 - первое крупное обновление платформы.pdf

#loginom #release notes #6.1

Смотрите также