От ручной сверки и зарубежной REC 7 — к автоматизированной системе реконсиляции, которая обрабатывает сотни тысяч операций за минуты и обеспечивает полный контроль качества данных на рынке ценных бумаг.
Реконсиляция (reconciliation) — это процесс сравнения и согласования данных из разных источников для проверки их согласованности и точности. Цель — обнаружить расхождения, определить их природу и устранить, чтобы обеспечить достоверность информации в различных системах, базах данных или бизнес-процессах.
Термин reconciliation переводится с английского как «согласование», «сверка» или «примирение».
Реконсиляция используется во многих областях:
Профессиональные участники рынка ценных бумаг ежедневно обрабатывают сотни тысяч операций. Данные по операциям поступают из разных независимых источников — торговых площадок, межбанковских систем и внутренних учетных систем.
Из-за различий в форматах сообщений, задержек обновления и особенностей учета информация по сделкам в этих системах может не совпадать. Например, один источник может отражать уже обновленные обороты и остатки, а другой — с задержкой или неполные. Чтобы исключить ошибки в учете и снизить операционные и финансовые риски, необходимо сверять данные по совершенным операциям между сторонами сделки — покупателем и продавцом.
Реконсиляция является критически важной для финансовых организаций, поскольку обеспечивает:
Заказчик — крупный профессиональный участник рынка ценных бумаг, осуществляющий брокерскую и дилерскую деятельность.
Компания работает на всех основных торговых площадках российского рынка ценных бумаг и ежедневно обрабатывает несколько сотен тысяч операций.
Для выполнения процедур реконсиляции заказчик использовал специализированную зарубежную программу REC 7. Система применялась для реконсиляции данных об остатках на счетах участников рынка ценных бумаг.
Общая схема процесса реконсиляции
Компания-заказчик использует 4 вида реконсиляции.
В рамках программы импортозамещения перед компанией стояла задача разработать отечественный аналог и построить остальные 3 системы самостоятельно.
Целью проекта стала разработка аналога зарубежной системы реконсиляции, а также добавление и расширение функциональности по сравнению с REC 7.
На вход система должна получать данные из нескольких независимых источников. Дополнительная сложность заключалась в различии форматов файлов с входными данными: CSV, XML, SWIFT MT535 и Excel-файлы корректировок.
Помимо непосредственно сверки данных необходимо было обеспечить контроль качества входящей информации, хранение результатов, формирование отчетности и возможность дальнейшего развития решения.
Решение имеет модульную структуру и осуществляет полный цикл обработки данных — от загрузки файлов и их предобработки до выполнения реконсиляции и формирования отчетов.
Логическая схема процесса реконсиляции
Сначала выполняется загрузка файлов из различных источников. Далее импортируются новые файлы. Следующим этапом является предобработка и контроль качества данных. Система преобразует данные различных форматов для последующей обработки. Специфика описана ниже.
Подготовленные данные загружаются в базу и далее передаются в модуль реконсиляции. После этого выполняется сопоставление (matching) и обновление базы данных. Формируется отчет о реконсиляции.
Если все ключевые параметры совпали (статус All matched), то процесс завершается. Если нет — запускается процедура корректировки — выполняется следующий цикл обработки.
Схема системы реконсиляции
Клиенты поставляют справочную информацию, получают отчеты и, при наличии расхождений, формируют корректирующие файлы, либо запрашивают перевыгрузку данных из источников.
Запуск системы может быть выполнен по расписанию, триггеру или директивно. При каждом запуске система проверяет наличие необработанных файлов на входе, изменений в справочниках.
В основе решения — платформа Loginom. Она использовалась для загрузки и обработки данных, реализации логики реконсиляции, интеграции с внешними источниками и формирования отчетности. Для хранения справочной информации, результатов обработки и истории реконсиляции использовалась база данных PostgreSQL.
В рамках проекта были реализованы механизмы обработки в Loginom любых SWIFT-сообщений формата MT, включая MT535, который использовался в проекте. Система импортирует файлы CSV и XML, отправляет результаты по электронной почте, может быть масштабирована. Разработанные в рамках проекта компоненты можно использовать повторно.
Оптимальная схема развертывания системы была предложена компанией Loginom.
Схема развертывания
Наличие нескольких серверов обусловлено требованиями обеспечения высокой производительности и надежности.
Система будет работать и в случае размещения всех элементов на одной машине, но производительность и отказоустойчивость при этом снизятся.
Развертывание системы на своих мощностях производилось полностью силами заказчика.
Одним из ключевых требований стала возможность дальнейшего расширения решения. Архитектура системы изначально проектировалась с учетом требований:
Фактически заказчик получил не только решение для конкретного сценария сверки, но и основу для реализации других процессов реконсиляции в будущем.
Отдельное внимание было уделено производительности. По требованиям заказчика загрузка и реконсиляция 100 000 записей с каждой из сторон должны выполняться в течение 2–3 минут.
По итогам проекта была разработана и внедрена отечественная система реконсиляции, заменившая зарубежное решение REC 7 в рамках программы импортозамещения.
Компания Loginom получила новый опыт разработки и внедрения автоматизированной системы — аналога зарубежного продукта на собственной платформе.
Заказчик существенно снизил риски, связанные с зависимостью от зарубежного программного обеспечения, получил расширенную функциональность по сравнению с зарубежным решением.
Система успешно прошла испытания и была принята заказчиком в промышленную эксплуатацию.
Разработанная архитектура позволяет использовать созданные модули для реализации других видов реконсиляции.
Проект стал успешным примером импортозамещения специализированного финансового программного обеспечения и подтвердил возможность реализации подобных решений на платформе Loginom.
