Интеграция с объектно-ориентированной цифровой платформой. Выступление Романа Перепелкина на Loginom Day 2018

Добрый день, коллеги. Меня зовут Роман Перепелкин. Я – генеральный директор компании «Бизнесинтерсофт» город Рязань, разработчик платформы ODANT. Наши коллеги из Рязани попросили нас выступить на мероприятии Loginom Day и показать кейсы, которые наши клиенты использовали в своих задачах для каких-то аналитических процессов.

Я покажу несколько функциональных возможностей, которые мы использовали для того, чтобы взаимодействовать с Loginom и решать какие-то небольшие задачи.

Нам понравилось, что платформа объектная, что используется компонентный подход для бесшовной совместимости. Платформа имеет возможность создавать распределённые иерархические архитектуры, в которых используются агрегации наследования, и которые позволяют собирать данные из дочерних баз и объединять их на каждом слое.

Как примерно выглядит ландшафт государственных или крупных частных компаний, вы понимаете: есть главный офис, территориальное управление, филиалы. В каждой компании, в каждом филиале может быть совершенно произвольный ландшафт решений и систем.

Очень сложно производить сборку, агрегацию, анализ данных со всех этих систем по разным причинам. Во-первых, все они территориально разнесены, во-вторых, у каждой из них стандарты, протоколы, обмен и так далее. То есть, необходимо создать интеграционную шину.

Это довольно нетривиальная задача. Что мы делаем? Рядом с каждой системой ставим свой мини сервер. Минимальная конфигурация, на которой может быть запущена наша СУБД, это, допустим, Raspberry. Под каждую задачу можно подобрать свою мощность. Создаются специальные классы, либо они уже есть созданные, допустим, классы, работающие с 1С, с другими системами. Постепенно, если система имеет собственной API, мы можем создать классы, которые взаимодействуют с API.

В дальнейшем, эти классы размещаются на торговой площадке, все пользователи могут уже не повторять эту работу, просто взять этот класс и подключаться к нужной системе. Рядом с системами компании создаются наши системы, которые выглядят иерархическим образом.

Данные из всех систем полностью мэппируются к нам. Мы не делаем «золотые записи», а делаем мэппирование тех данных, которые есть в реальных системах. То системы как работали, так и продолжают работать.

Наша технология позволяет на любом слое видеть все данные всех систем в терминологии того слоя, с которого мы туда смотрим. То есть не надо делать «золотые записи». Происходит глобальное мэппирование всех данных, всех структурных моделей.

Часто бывает, что реальные системы замещаются нашими. То есть, когда мы кроме мэппирования данных добавляем функциональные блоки, обеспечивающие логистику, дополнительные элементы, связанные с анализом. Тогда мы можем замещать эти системы.

Интеграция корпоративного ландшафта происходит достаточно быстро и безболезненно. При этом возникает ряд задач, для которых очень удобно использовать Loginom.

Для того чтобы обеспечивать интеграцию между системами, используется централизованная система НСИ, которая обеспечивает автоматическую связь справочников, возможность автономной работы без связи с вышестоящей организацией, то есть, если связь прервалась, система продолжает нормально функционировать на основе специализированных кешев.

За счёт того, что нас наследование модели управления данными, на каждом слое местные айтишники могут сделать дополнительный override своих моделей данных в соответствии с их системными. При этом, за счет наследования с верхнего слоя, каждый слой видит данные полностью совместимые со своими.

Дальше необходимо сделать запрос на изменение справочника с анализом «Предвыборка». Это задача для Loginom. Положим, что на верхнем слое есть какая-то система, к ней подключена наша платформа. На этой системе оператор хочет ввести нового оператора, новую запись в контрагенты «ООО «Аналитические технологии», РИзань, улица Новая 53» (с ошибкой).

Этот новый контрагент из нашей базы отправляется в Loginom. В Loginom происходит сверка этой записи с записями во всех базах данных, которые ему доступны на текущий момент. Из всех остальных баз данных он пытается найти похожую сущность. Сущность находит, исправляет и отсылает обратно, в родную базу данных. На этом этапе получаются «золотые записи». То есть мы не можем изменить те записи, которые были до нас. Но вновь появившиеся мы уже можем приводить к некоему единому стандарту.

Далее небольшой ролик: это наше интерфейс. Создается новая организация, вводятся характеристики, нажимаем «Реализовать». Из Loginom приходит информация, которая исправила неправильно нами введенные записи.

Здесь мы видим источники, несколько баз данных, устроенных иерархически. Loginom проверил все источники, данных не очень много, но это одинаково работает и на 100 записях, и на 1000, и на миллионах.

Следующая задача, которую решают с помощью Loginom - это дедупликация существующих записей. Если в базе данных находится несколько записей с одинаковыми показателями, причём они могут быть написаны неправильно, с ошибками. Также данные подаются в Loginom, Loginom производит дедупликацию.

Третья задача, которую мы показываем – это дедупликация при создании новых данных. Тоже нужно найти похожую запись. Принцип такой же, как и в предыдущем ролике: начинаем вводить новую организацию. К сожалению, пока мы не можем очень плотно интегрировать с Loginom, чтобы в процессе ввода в строку сразу появлялись дедуплицированные записи.

Сейчас мы вместе с Loginom делаем систему управления НСИ для ПАО «Россети». На первом этапе будет произведена интеграции между двадцатью территориально распределенными SAPами, на каждый SAP будет навешена наша система. Как раз там у нас используется Loginom. Все системы используются в разных филиалах, в разных регионах. У них свои руководство. Они физически никак не связаны.

Также мы делали в Рязанской области систему управления ЖКХ Рязанской области. Когда мы создавали систему для Фонда капитального ремонта, у нас возникла очень сложная вещь: мы получили информацию из 100 источников по жилому фонду, и она вся была разнообразная.

Для того чтобы нам хоть как-то свести концы с концами и создать единый правильный справочник, тут мы использовали продукт Deductor. Мы брали примерно 2,5 млн записей: адреса домов, квартир и так далее,- загоняли их в Deductor, и Deductor производил дедупликацию, нормализацию. Получили 350000 уникальных записей всего адресного фонда Рязанской области.

До сегодняшнего дня (четыре года у нас уже работает система), это самый правильный справочник, который у нас существует, нигде ничего подобного даже близко нет.

Характерный факт, вся эта система работает на сервере 2 процессора по 8 ядер, 64 оперативки 500 гигабайт дискового пространства. Четыре года работает система, пока ничего не менялось.

Вообще вся система ЖКХ Рязанской области работает на 129 серверах. Каждый сервер стоит у определенного оператора, все сервера создают некое единое бизнес пространство. Каждый оператор отвечает за свой сегмент данных.

За счёт того, что производится иерархическое наследование моделей, несмотря на то, что есть какие-то внизу отличия в моделях данных, сверху мы смотрим на абсолютно одинаковую модель и считаем, что это одна и та же система.