Крупное обновление аналитической платформы Loginom. Реализован функционал быстрого просмотра результатов вычислений при выделении активизированного узла. Появилась возможность отмены выполнения запроса в процессе импорта из БД. Реализован удобный функционал в переиспользовании компонентов. Публикация веб-сервисов стала доступна в редакции Team. Появился новый визуализатор – Качество данных, а также реализован ряд улучшений в OLAP-кубе.
В обновление вошло большое количество улучшений и новых возможностей, направленных на удобство использования платформы. Ниже приведен список наиболее важных изменений:
Обратите внимание!
Так как в новой версии серьезно переработан механизм переиспользования компонентов, то пакеты, в которых содержатся узлы с областью видимости «открытый» или «опубликованный», потребуют дополнительной конвертации.
Перед открытием новой версии рекомендуем отдельно сохранить копии обновляемых пакетов. Конвертация будет выполнена автоматически при открытии таких пакетов, а после обновления их нужно будет пересохранить. Подробная информация об изменениях и особенностях конвертации пакетов описана в разделе Конвертация пакетов более ранних версий в формат 6.5.
Изменен порядок автоматического формирования имен полей. Подробнее в разделе Изменение в автоматическом формирование имен полей.
В настройках администрирования добавлена стандартная группа пользователей «Все». Подробнее в разделе Изменения в разделе Администрирование.
Кодировка лог-файлов заменена на UTF8. Это изменение может быть значимым, если была настроена автоматическая обработка лог-файлов при помощи скриптов. Подробнее в разделе Изменения в логировании.
Задачу анализа данных так или иначе можно решить в различных инструментах. Поэтому, особенно важно обеспечить удобство работы пользователя с конкретным продуктом. Проектирование и отладка логики анализа данных занимает у аналитиков — основных пользователей Loginom — большое количество времени. Важно, чтобы этот процесс был максимально комфортным для специалиста, отвечал всем его запросам.
Для повышения удобства работы аналитиков, в Loginom 6.5 реализован быстрый просмотр при выделении активизированного узла, без открытия дополнительных окон. Эта возможность позволяет визуально контролировать корректность расчетов в каждом узле сценария, оперативно обнаруживать ошибки. Опция запускается при активации режима «Быстрый просмотр» в правом углу панели инструментов, по двойному клику по выходному порту узла или через пункт «Увеличенный быстрый просмотр» контекстного меню порта.
Быстрый просмотр при выделении активизированного узла
Реализована возможность предварительного просмотра результатов расчетов Калькулятора. Теперь при написании формулы сразу же появляется возможность посмотреть, какие получаются результаты на примере первых 100 записей, причем отображаются как поля, которые используются в формулах, так и результаты вычислений, что удобно для визуального сравнения корректности расчетов. Опция активируется при нажатии иконки «Предпросмотр» на панели инструментов в мастере Калькулятора. Данный функционал особенно актуален при работе со сложными формулами.
Предпросмотр расчетов Калькулятора
Стала удобнее разработка и отладка пакетов, подключаемых на странице Ссылки. Для этого реализован перенос такого пакета в сессию пользователя, если он используется только в текущей сессии. Это позволяет редактировать подключенный пакет, если кроме текущей сессии пользователя он никем не используется.
Добавлен запрос подтверждения от пользователя на деактивацию узла перед началом настройки узла или его портов.
Публикация веб-сервисов — одна из самых популярных функций платформы. Например, когда речь идет о создании систем принятия решений практически весь функционал базируется на обращении к веб-сервисам. Рассмотрим подробнее некоторые изменения.
В новой версии платформы появилась возможность публикации веб-сервисов в редакции Team с помощью Loginom Integrator. Он несколько отличается от интегратора для редакций Standard и Enterprise:
В панели навигации добавлен новый узел «Веб-сервисы», при активации которого открывается страница настройки публикации пакетов.
Новая страница «Веб-сервисы»
На этой странице отображается список опубликованных пакетов, имя и путь к файлу пакета, дата публикации, версия и статус автообновления. Для каждого пакета отображается список всех опубликованных узлов. Также цветом отображается статус опубликованных веб-сервисов: зеленым, если веб-сервис соответствует сохраненному пакету; оранжевым, если веб-сервис не соответствует сохраненному пакету; и серым, если нет доступа к опубликованному пакету.
На этой же странице можно добавить или обновить публикацию веб-сервиса, отредактировать опубликованный пакет или отменить публикацию. Если в настройках публикации пакета установлен параметр «Обновлять публикацию при сохранении пакета», то при любом редактировании веб-сервиса и сохранении пакета он будет автоматически переопубликован с учетом самых последних изменений.
Дополнительно в администрировании Loginom 6.5 появилась отдельная роль и возможность управлять правами на публикацию веб-сервисов.
Возможность переиспользования компонентов и простота данной операции — одна из самых важных вещей при работе с Loginom. За счет переиспользования ранее спроектированных и проверенных компонентов повышается качество итоговых сценариев, а возможность делиться такими компонентами — многократно повышает производительность работы аналитика.
Для переиспользования компонентов достаточно в контекстном меню узла выбрать подменю «Создать производный компонент». В открывшемся окне доступны две опции на выбор: «Выполнение узла и Цикл» и «Производные узлы». Если выбрать опцию «Выполнение узла и Цикл», то будет доступно выполнение компонента или выполнение в цикле. Если выбрать опцию «Производные узлы», то можно модифицировать компонент перед его переиспользованием.
В новой версии платформы при подключении любого пакета в меню «производные компоненты» отображаются все компоненты, доступные для переиспользования, причем как для обычного выполнения, так и для редактирования. При перетаскивании производного компонента в область сценария по умолчанию создаётся узел Выполнение; если нажат Shift, то создаётся Цикл, а если нажат Ctrl, — то производный узел. Если же в настройках компонента запрещено создание узлов Выполнение/Цикл, то всегда создаётся производный узел.
Компоненты на панели Производные компоненты теперь группируются по пакетам, внутри которых они содержатся. В рамках каждого пакета компоненты сортируются в алфавитном порядке. Также добавлены команды контекстного меню:
Начиная с версии 6.5.0, узлы Выполнение узла и Цикл ссылаются не на узел, а на компонент. Для того, чтобы обеспечить обратную совместимость с пакетами, разработанными в предыдущих версиях платформы, реализован механизм конвертации сценариев.
Перед тем, как открывать в новой версии Loginom пакеты, разработанные в предыдущих версиях платформы, рекомендуется сделать резервные копии исходных пакетов.
При открытии таких пакетов в Loginom версии 6.5.0 и старше, автоматически создаются производные компоненты по всем узлам, на которые ссылаются узлы Выполнение узла и Цикл в текущем пакете. Эти компоненты получают такую же метку и модификатор доступа, как и исходный узел.
Также автоматически создаются производные компоненты по всем узлам с модификатором доступа «Открытый» или «Опубликованный», так как на эти узлы могут быть ссылки в других пакетах. Эти компоненты получают метки вида «Метка_узла (открытый узел)» или «Метка_узла (опубликованный узел)» в зависимости от модификатора доступа узлов, по которым они созданы. Некоторые из этих компонентов могут оказаться лишними, если в других пакетах нет и не планируется создавать узлы Выполнение узла или Цикл, которые на них ссылаются. Такая ситуация наиболее вероятна для производных компонентов, созданных по опубликованным узлам, так как чаще всего такие узлы используются для работы через Loginom Integrator или для Пакетного выполнения. Все лишние производные компоненты можно удалить вручную, после чего сохранить пакет.
При открытии пакетов, содержащих узлы с модификатором доступа «Опубликованный», пользователю будет выдано предупреждение о том, что будет выполнена конвертация пакета и будут созданы дополнительные производные компоненты. В том числе, сообщение будет получено, если в самом пакете нет таких узлов, но они есть в одном из подключенных пакетов.
Так как конвертация может занимать продолжительное время, рекомендуется последовательно сконвертировать все используемые пакты и сохранить их после выполненной конвертации, предварительно удалив производные компоненты, которые не планируется использовать, если это необходимо. Если к пакету подключаются библиотеки компонентов, к которым нет доступа на редактирование, то необходимо запросить новые версии библиотек у их разработчика. Это же касается разработанных прикладных решений.
В новой версии платформы появилась возможность указать нужную локаль для сохраняемого пакета. Эта функция актуальна, когда речь идет об обработке многоязычных текстовых данных или данных типа дата-время. При разработке сценария в настройках сервера может быть настроена одна локаль, а на сервере, где будет выполняться разработанный сценарий — другая. Из-за этого при запуске сценария могли возникать конфликты локалей. Для устранения этой проблемы в новой версии Loginom 6.5 реализован функционал фиксации локали пакетов. Настроенные таким образом сценарии будут независимы от языковых настроек Windows и Loginom.
У разных версий и редакций Loginom разные возможности. Иногда возникают ситуации, когда различия в функционалах нужно учитывать при проектировании сценариев. Например, на серверной редакции Standard есть возможность выполнять SOAP-запросы, а в настольной редакции Personal такой опции нет.
С целью унификации сценариев разных версий и редакций платформы в Loginom 6.5 добавлены глобальные переменные ProductVersion и ProductEdition, которые можно использовать при проектировании сценариев.
Любой, кто занимался анализом данных знает, что работа по улучшению качества данных — одна из самых важных задач. С этой целью в Loginom появился специализированный визуализатор — Качество данных, который реализован в виде сводки по всем типам проблем.
Сводка визуализатора Качество данных
Визуализатор позволяет проанализировать набор данных и оценить качество этих данных с выводом возможных проблем по каждому полю. Доступна общая сводка по набору данных, а также детализированные сводки по непрерывным и по дискретным данным.
Детализация визуализатора Качество данных
При начальной активации визуализатора рассчитываются только стандартные показатели, такие как: Минимум, Максимум, Среднее, Пропуски. Остальные показатели при этом отображаются как Не вычислено. Для их расчета необходимо выполнить действие «Посчитать показатели качества». Список рассчитываемых при этом показателей: Экстремальные значения, Нижний уровень экстремальных значений, Верхний уровень экстремальных значений, Выбросы, Нижний уровень выбросов, Верхний уровень выбросов, Медиана, Мода, Гистограмма, Уникальные, Индекс качества и Резюме качества. Резюме качества основывается на индексе качества и числе пропусков по заданному в настройке параметру «Максимально допустимый процент пропусков», в результате чего выдается одно из значений по каждому полю: «Непригодный», «Пригодный», «Предобработка».
OLAP-куб — один из самых популярных визуализаторов. В новой версии платформы его функционал был значительно улучшен:
Отображаемые серии
Уровни заголовков
По нажатию на Ctrl+C, выделенные в окне быстрого просмотра данные теперь копируются в совместимом с Excel формате, то есть при вставке в табличный редактор, вставляемые значения будут иметь корректный формат данных. Данная возможность работает в окне быстрого просмотра на панели сценария, при быстром просмотре содержимого выходных портов, при быстром просмотре результатов в калькуляторе, а также в инспекторе свойств.
В серверных редакциях на странице настройки пакетов добавлена возможность настроить периодическое автоматическое резервное копирование всех открытых пакетов. При нажатии на кнопку «Автосохранение», можно включить этот параметр, а также задать «Период сохранения» в минутах. Пакеты сохраняются с заданным интервалом в файлы с расширением .autosave рядом с .lgp файлами. Сами .lgp файлы при этом не перезаписываются.
Появилась возможность отмены выполнения запроса в процессе импорта из базы данных. Эта опция удобна в случае неправильного написания сложных запросов к базам данных, на подготовку которых СУБД могла тратить продолжительное время, иногда сопоставимое со временем, требуемым на получение результирующих данных. Ранее приходилось дожидаться окончания выполнения операции, сейчас реализована возможность ее быстрой отмены и последующей коррекции.
Еще одно новшество — это гибкая настройка импорта данных из хранилища при помощи переменных.
Добавлена возможность подключения через ODBC-драйверы для СУБД Apache Hive с использованием строки подключения. Список разрешенных для использования ODBC-драйверов: Simba Hive ODBC Driver, Microsoft Hive ODBC Driver, Cloudera ODBC Driver for Apache Hive, MapR Hive ODBC Connector.
При импорте из текстового файла для автоматического предположения об используемых типах данных учитываются параметры установленные на странице «Настройка форматов импорта», а также параметр «Кол-во строк для анализа» на странице «Параметры импорта с разделителями». В большинстве случаев это позволяет более точно определить типы данных, используемые в импортируемом наборе.
Добавлена возможность выполнить автоматическое определение структуры импортируемого файла. По нажатию на кнопку «Предположить структуру» на странице «Настройка форматов импорта» будут автоматически определены и установлены следующие параметры: разделитель столбцов, ограничитель строк, десятичный разделитель, разделитель даты, разделитель времени, формат даты.
При экспорте в Loginom Data файл оптимизировано сжатие строковых данных — скорость чтения больших наборов данных увеличилась до 2-х раз. Достаточно экспортировать любые данные в формат lgd и работа с ними будет в несколько раз быстрее, также они будут занимать гораздо меньший объем памяти в хранилище. Скорость чтения lgd-файлов увеличилась до 10 раз по сравнению с текстовыми файлами и до двух раз по сравнению с lgd-файлами версии 6.4.
Для того, чтобы на сервере можно было создать общую папку, доступ к которой имели бы все пользователи, в том числе вновь добавляемые, создана стандартная группа пользователей «Все», которая отображается при настройке прав на общие папки.
Если ранее имелся пользователь с именем «everyone», то при запуске сервера возникнет ошибка «Ошибка загрузки файла конфигурации: Users.cfg» (сообщение сохранится в журнал Windows и в файл лога), а Loginom Server не запустится. Чтобы эта ошибка не возникала, необходимо на предыдущей версии Loginom удалить пользователя с именем «everyone», после чего выполнить обновление на новую версию Loginom. Если же Loginom Server уже обновлен, то можно вручную отредактировать xml-файл Users.cfg и удалить из него пользователя с именем «everyone».
В имени пользователей и общих папок разрешено использовать символы точка, минус и пробел, также имена могут начинаться с цифры. При этом, имена, заканчивающиеся точкой или пробелом, запрещены. Данное ограничение соответствует ограничению на имена папок в Windows. При вводе имени нового пользователя в разделе Администрирование автоматически убираются ведущие и завершающие пробелы.
При аутентификации пользователя через LDAP сервер разрешено использовать символы русской раскладки. Ранее, пользователь, пароль которого в Active Directory содержал русские буквы, не мог авторизоваться в Loginom через LDAP.
В панели Администрирование добавлена возможность настройки прав на публикацию пакетов у каждого пользователя. Разрешение на публикацию пакетов можно установить только для пользователей, у которых есть роль «Проектирование сценариев». При автоматическом добавлении нового пользователя с аутентификацией через LDAP, пользователю выдаются права на публикацию пакетов, если у него есть роль «Проектирование сценариев». При запуске сервера после обновления до Loginom 6.5, всем пользователям с правами на проектирование сценариев будут также предоставлены права на публикацию пакетов.
Реализована установка роли для нового пользователя, автоматически добавляемого через LDAP, на основе параметра «Роль нового пользователя», который можно настроить в разделе Администрирование в секции LDAP.
При формировании набора полей, в исходном наименовании все невалидные символы заменяются и формируется корректное имя поля или же значение по умолчанию, если не получилось сформировать корректный идентификатор. Логика формирования имен полей:
Данное изменение затрагивает следующие обработчики: Импорт из тестового файла, Импорт из файла Excel, Импорт из Базы данных, Импорт из 1С Запрос, Импорт из XML файла, JavaScript, Python, Извлечение XML, SOAP-запрос, Кросс-таблица, Таблица в дерево, а также порт типа «Дерево данных».
В Loginom Integrator дополнена логируемая информация. При включенном уровне логирования «Информация», в момент начала выполнения запроса сохраняется URL запроса и имя узла. Ранее логирование имени узла было предусмотрено только при логировании в базу данных.
Ранее, если переданный через Loginom Integrator REST-запрос не содержал тело запроса или валидный json-объект, то появлялось неинформативное сообщение об ошибке «Не задано свойство WebBodyFormatMessageProperty». Теперь в таком случае пользователю показывается одно из сообщений «Тело запроса не должно быть пустым» или «Запрос должен содержать объект json».
Для файлов логов Loginom Server по умолчанию используется кодировка UTF8 (ранее использовалась кодировка ANSI). У вновь установленного сервера лог-файлы будут в кодировке UTF8. При обновлении до новой версии, если уже существует файл логов, то будет использована кодировка ANSI, соответствующая локали пользователя, из под которого запущен Loginom Server.
Для того, чтобы у прежде установленного сервера задействовать кодировку UTF8, нужно сделать резервную копию лог-файла app.log, а затем удалить его. Если ранее была настроена автоматическая обработка лог-файлов при помощи скриптов, в которых делалось предположение о кодировке лог файлов, то в этом случае нужно обратить внимание на это изменение.
В Loginom 6.5 существенно были улучшены следующие компоненты обработки:
В Калькуляторе в функции Stat появился еще один показатель для вычислений — мода.
В JavaScript появилась поддержка Fetch API, особенно важного для работы с REST и JSON-запросами и для обращения к внешним веб-сервисам. Добавлена поддержка глобального свойства globalThis, которое может быть использовано сторонними модулями. А также добавлены функции setTimeout и clearTimeout, реализована поддержка кодирования/декодирования данных в формате Base64.
В мастере настройки больше недоступна настройка «Разрешить невалидные имена», но осталась настройка «Уникальные значения как имена полей». Пакеты из предыдущих версий будут работать по-старому, до тех пор, пока не будет выключена настройка «Уникальные значения как имена полей». Для всех вновь создаваемых узлов будет действовать следующая логика: если настройка «Уникальные значения как имена полей» активна, то валидные уникальные значения будут без изменений использоваться как имена столбцов, а невалидные уникальные значения будут формироваться с помощью транслитерации.
После деактивации и повторной активации настройки «Уникальные значения как имена полей», имена столбцов будут формироваться уже по-новому с транслитерацией.
В линейной регрессии исправлен расчет показателей модели, в частности: Логарифм функции правдоподобия, Стандартное отклонение, F-статистика, P-значение модели, Коэффициент детерминации.
В логистической регрессии исправлен расчет показателей модели, в частности: Хи-квадрат, -2 Логарифма функции правдоподобия, Псевдо-R^2 Макфаддена и Псевдо-R^2 Макфаддена (скорр.), -2 Логарифма функции правдоподобия нулевой модели. Параметры «Коэффициент Вальда» и «Критерий Вальда» переименованы в параметр «Статистика Вальда», а «Коэффициент детерминации» переименован в «Псевдо-R² Макфаддена»
В визуализаторе «Отчет по регрессии» для линейной и логистической регрессий добавлен вывод числа степеней свободы модели, а для логистической регрессии — вывод Deviance нулевой модели.
Выходной порт переменных «Сводка» дополнен показателями: для линейной регрессии — Логарифм функции правдоподобия, Стандартное отклонение, Число степеней свободы ошибки, F-статистика; для логистической регрессии — Число степеней свободы ошибки, -2 Логарифма функции правдоподобия нулевой модели.
Название показателя «Максимум функции правдоподобия» в отчёте по линейной регрессии заменено на «Логарифм функции правдоподобия», а название показателя «P-значение (модель)» заменено на «P-значение модели».
При работе с 1С.Предприятие в случае возникновения ошибок было сложно определить, возникли проблемы на стороне 1С или непосредственно в сценариях Loginom. Теперь все сообщения, передаваемые 1С, дополнены описанием. К таким ошибкам относятся: «Ошибка подключения к 1С ...», «Ошибка подготовки запроса 1С ...», «Ошибка выполнения запроса 1С ...», «Ошибка подготовки полей запроса 1С ...», «Ошибка выгрузки результатов запроса 1С ...».
В обработчике Параметры полей добавлена возможность исключать столбцы из дальнейшей обработки. Для этого в мастере настройки полей добавлен параметр «Исключить». Если для поля установлено свойство «Исключить», то это поле не будет добавлено в выходной набор данных.
В мастерах настройки соответствия полей и переменных добавлена возможность создавать поля или переменные на основе уже существующих. При клонировании копируются все атрибуты поля или переменной, кроме значения связанного поля или переменной из исходного набора данных.
В компоненте Фильтр строк при выборе условия фильтрации «В списке / Вне списка» добавлена возможность копирования и вставки данных через буфер обмена. Это можно выполнить при помощи контекстного меню или с помощью стандартных горячих клавиш (Ctrl+x, Ctrl+c, Ctrl+v для ОС Windows).
В мастере Импорта из ХД добавлена возможность указать некоторые параметры фильтрации с помощью управляющих переменных. С помощью переменных можно указать:
В обработчике Фильтр строк добавлены варианты фильтрации по диапазону дат «первый», «последний» с использованием даты из набора данных.
На домашней странице добавлена возможность открыть в новом окне пакет из списка «Последние открытые пакеты». Для этого при клике на имя пакета необходимо удерживать клавишу «Ctrl» («Cmd» для MacOS). Также можно открыть в новой вкладке пакет при нажатии с «Ctrl» («Cmd» для MacOS) на кнопки «Создать пакет», «Создать черновик», «Открыть пакет».
Добавлена поддержка TLS 1.3. Для защищенных соединений используется OpenSSL версии 1.1. При работе через HTTPS и WebSocket не может быть использована версия TLS ниже 1.2.
Сортировка дискретных начальных классов узла Конечные классы заменена на устойчивую. Ранее при выполнении могла изменяться модель начальных классов, а результат выполнения мог отличаться от ожидаемого.
Кнопка свернуть в подмодель теперь активна даже если выбран один узел и этот узел не подмодель. Ранее в подмодель можно было свернуть только несколько выделенных узлов.
В визуализаторе Статистика явно обозначены ячейки с нерассчитанными показателями и кнопки запуска расчетов. Уникальные значения выделены оранжевым цветом, порядковые статистики — красным.
При экспорте в базы данных, если выбран тип экспорта «Обновить существующие записи в таблице» и ключевое поле содержит значения NULL, то происходит корректное сравнение значений с использованием конструкции IS NULL.
При запуске настольных редакций Loginom в качестве рабочего каталога устанавливается рабочий каталог, указанный в параметрах ярлыка. При установке платформы в качестве рабочего каталога используется папка «Мои документы» текущего пользователя.
