Система очистки и дедупликации данных о клиентах. Пилотный проект

Заказчик — страховая компания, предоставляющая широкий спектр страховых услуг. В настоящее время региональная сеть компании состоит из нескольких десятков филиалов и более 100 агентств и точек продаж, работающих во всех регионах России.

Задача

В процессе своей деятельности компания использует несколько ключевых систем:

• фронт-офисная система,
• учетная система,
• автоматизированная система-сервис.

Поддержка крупной клиентской базы компании затруднялась тем, что информация хранилась в справочниках нескольких систем, слабо связанных друг с другом. Из-за этого в данных возникала рассогласованность. Это усложнило коммуникацию с клиентами и повысило нагрузку на операторов.

Заказчик нуждался в качественной MDM-системе (системе управления мастер-данными) для достижения следующих целей:

1. централизация процесса управления данными о контрагентах в ключевых системах компании;
2. сокращение времени поиска информации о клиенте;
3. реализация механизмов повторного использования данных о клиентах;
4. повышение качества и полноты клиентских данных;
5. формирование эталонных записей о клиентах компании и их портфелях.

Требования, предъявляемые к MDM-системе:

1. возможность обрабатывать записи в двух режимах: автоматическом и ручном;
2. наличие возможности добавления новых правил очистки и дедупликации;
3. журнализация результатов работы системы и правил, по которым осуществлялась очистка и слияние дублей;
4. скорость обработки:

• в автоматическом режиме – не менее 10 тысяч записей в час;
• в ручном режиме – не менее 200 запросов в минуту.

Решение

Реализация MDM-системы осуществлялась силами двух проектных команд:

• Специалисты Loginom Company занимались разработкой MDM-системы, а также настройкой сценариев очистки, дедупликации и формирования эталонных записей.
• Специалисты компании Заказчика отвечали за интеграцию с системами-источниками и разработку подсистемы администрирования мастер-данных, необходимой для ручной обработки записей.

В основу MDM-системы легло решение по очистке данных, разработанное специалистами Loginom Company. Решение представляет собой набор сценарных модулей, отвечающих за очистку атрибутов записи и поиск дублей в базе.

Этапы реализации

Запуск системы осуществляется в автоматическом режиме раз в сутки. На первом этапе осуществляется очистка следующих атрибутов:

Атрибуты физических лиц:

• Фамилия, имя, отчество;
• Номера телефонов;
• Дата рождения;
• Удостоверение личности;
• Идентификатор физического лица.

Атрибуты юридических лиц:

• Наименование юридического лица;
• Номер телефона;
• Идентификатор юридического лица.

После завершения этапа очистки система выполняет поиск потенциальных дублей на основании стратегий четкого и нечеткого поиска.

Модуль поиска дублей реализован в виде web-сервиса, благодаря чему пользователи системы могут обращаться к нему в произвольный момент времени в режиме online. При этом пользователи имеют возможность настраивать параметры очистки атрибутов, изменять стратегии дедупликации и, при необходимости, добавлять новые.

Этап интеграции MDM-системы с источниками данных стал одним из наиболее сложных при реализации проекта. Он был успешно решен специалистами компании Заказчика: они реализовали транспортную базу данных, которая автоматической готовила данные для обработки, выгружала их в MDM-систему, а после обработки осуществляла обновление клиентских записей в системах-источниках.

Вне зависимости от режима работы системы осуществляется протоколирование результатов её работы и правил, по которым происходит очистка и слияние дублей.

Результат

При первом запуске MDM-системы было обработано 40 млн. записей. В ходе обработки устранялись ошибки, опечатки, выявлялись дубли, после чего информация о клиентах обогащалась из справочников и приводилась к единому стандарту. Результатом стало формирование порядка 10 млн. эталонных записей, которые были выгружены в системы-приемники.

В настоящее время MDM-система работает в автоматическом режиме, выполняя регулярную очистку новых данных. Возможности системы управления мастер-данными могут быть в любой момент расширены за счет включения дополнительных компонентов. Это реализуется благодаря модульной архитектуре системы. Настройка каждого модуля может быть осуществлена силами специалистов Заказчика, без привлечения сторонних организаций.

Резюме

• Благодаря успешной реализации проекта была значительно снижена нагрузка на операторов, которые получают актуальные, непротиворечивые и максимально полные данные о клиенте, и, как следствие, увеличение эффективности работы всех подразделений.
• Предоставленная MDM-система ляжет в основу крупного инфраструктурного проекта Заказчика по реализации аналитического CRM.

Если вы тоже хотите применять low-code платформу Loginom для решения задач бизнеса, свяжитесь с нами.

Другие материалы по теме:

Алгоритмы кластеризации на службе Data Mining

Loginom Community Edition - аналитика, доступная каждому