Система очистки и дедупликации данных о клиентах. Пилотный проект

11 октября 2021
0 комментариев

Пилотный проект MDM-системы для крупной страховой компании. Благодаря проекту снижена нагрузка на операторов, которые получают актуальные, непротиворечивые и максимально полные данные о клиенте, и, как следствие, увеличена эффективность работы всех подразделений.

Заказчик — страховая компания, предоставляющая широкий спектр страховых услуг. В настоящее время региональная сеть компании состоит из нескольких десятков филиалов и более 100 агентств и точек продаж, работающих во всех регионах России.

Задача

В процессе своей деятельности компания использует несколько ключевых систем:

  • фронт-офисная система,
  • учетная система,
  • автоматизированная система-сервис.

Поддержка крупной клиентской базы компании затруднялась тем, что информация хранилась в справочниках нескольких систем, слабо связанных друг с другом. Из-за этого в данных возникала рассогласованность. Это усложнило коммуникацию с клиентами и повысило нагрузку на операторов.

Заказчик нуждался в качественной MDM-системе (системе управления мастер-данными) для достижения следующих целей:

  1. централизация процесса управления данными о контрагентах в ключевых системах компании;
  2. сокращение времени поиска информации о клиенте;
  3. реализация механизмов повторного использования данных о клиентах;
  4. повышение качества и полноты клиентских данных;
  5. формирование эталонных записей о клиентах компании и их портфелях.

Требования, предъявляемые к MDM-системе:

  1. возможность обрабатывать записи в двух режимах: автоматическом и ручном;
  2. наличие возможности добавления новых правил очистки и дедупликации;
  3. журнализация результатов работы системы и правил, по которым осуществлялась очистка и слияние дублей;
  4. скорость обработки:
  • в автоматическом режиме – не менее 10 тысяч записей в час;
  • в ручном режиме – не менее 200 запросов в минуту.

Решение

Реализация MDM-системы осуществлялась силами двух проектных команд:

  • Специалисты Loginom Company занимались разработкой MDM-системы, а также настройкой сценариев очистки, дедупликации и формирования эталонных записей.
  • Специалисты компании Заказчика отвечали за интеграцию с системами-источниками и разработку подсистемы администрирования мастер-данных, необходимой для ручной обработки записей.

В основу MDM-системы легло решение по очистке данных, разработанное специалистами Loginom Company. Решение представляет собой набор сценарных модулей, отвечающих за очистку атрибутов записи и поиск дублей в базе.

Этапы реализации

Запуск системы осуществляется в автоматическом режиме раз в сутки. На первом этапе осуществляется очистка следующих атрибутов:

Атрибуты физических лиц:

  • Фамилия, имя, отчество;
  • Номера телефонов;
  • Дата рождения;
  • Удостоверение личности;
  • Идентификатор физического лица.

Атрибуты юридических лиц:

  • Наименование юридического лица;
  • Номер телефона;
  • Идентификатор юридического лица.

После завершения этапа очистки система выполняет поиск потенциальных дублей на основании стратегий четкого и нечеткого поиска.

Модуль поиска дублей реализован в виде web-сервиса, благодаря чему пользователи системы могут обращаться к нему в произвольный момент времени в режиме online. При этом пользователи имеют возможность настраивать параметры очистки атрибутов, изменять стратегии дедупликации и, при необходимости, добавлять новые.

Этап интеграции MDM-системы с источниками данных стал одним из наиболее сложных при реализации проекта. Он был успешно решен специалистами компании Заказчика: они реализовали транспортную базу данных, которая автоматической готовила данные для обработки, выгружала их в MDM-систему, а после обработки осуществляла обновление клиентских записей в системах-источниках.

Схема MDM-системы

Вне зависимости от режима работы системы осуществляется протоколирование результатов её работы и правил, по которым происходит очистка и слияние дублей.

Результат

При первом запуске MDM-системы было обработано 40 млн. записей. В ходе обработки устранялись ошибки, опечатки, выявлялись дубли, после чего информация о клиентах обогащалась из справочников и приводилась к единому стандарту. Результатом стало формирование порядка 10 млн. эталонных записей, которые были выгружены в системы-приемники.

В настоящее время MDM-система работает в автоматическом режиме, выполняя регулярную очистку новых данных. Возможности системы управления мастер-данными могут быть в любой момент расширены за счет включения дополнительных компонентов. Это реализуется благодаря модульной архитектуре системы. Настройка каждого модуля может быть осуществлена силами специалистов Заказчика, без привлечения сторонних организаций.

Резюме

  • Благодаря успешной реализации проекта была значительно снижена нагрузка на операторов, которые получают актуальные, непротиворечивые и максимально полные данные о клиенте, и, как следствие, увеличение эффективности работы всех подразделений.
  • Предоставленная MDM-система ляжет в основу крупного инфраструктурного проекта Заказчика по реализации аналитического CRM.

Если вы тоже хотите применять low-code платформу Loginom для решения задач бизнеса, свяжитесь с нами.

 

Другие материалы по теме:

Алгоритмы кластеризации на службе Data Mining

Loginom Community Edition - аналитика, доступная каждому

 

#кейс#LDQ

Смотрите также