Число сделок с ценными бумагами на отдельной торговой площадке может достигать нескольких миллионов в день. Для обработки такого объема операций требуется очень высокопроизводительная учетная система, включающая не менее производительный и надежный инструмент контроля качества учитываемых данных. Процесс сравнения данных от сторон сделки для проверки их согласованности и точности происходит в подсистеме реконсиляции (reconciliation).
Термин reconciliation переводится с английского как «согласование», «сверка» или «примирение».
Цель реконсиляции — обнаружить расхождения, определить их природу и устранить до попадания данных в учетную систему.
Реконсиляция используется во многих областях:
В бухгалтерии и финансах реконсиляция — это сверка данных бухгалтерского учёта, аналитических систем и других источников для обеспечения полноты и точности информации. Например, проверка соответствия балансов счетов, сверка банковских выписок с личными записями, контроль соответствия данных о расходах и поступлений. Также может включать анализ изменений в обязательствах, возникающих в результате финансовой деятельности, и их сопоставление с отчётами о движении денежных средств.
В сфере данных и IT реконсиляция данных используется при миграции информации из одной системы в другую, интеграции систем, консолидации данных после слияний или поглощений, а также для поддержания качества информации в бизнес-процессах. Она помогает выявить ошибки, возникшие при преобразовании данных, сбоях в процессе миграции или хранении.
В микросервисных архитектурах реконсиляция может применяться для проверки согласованности данных между различными сервисами: например, подтверждения, что результаты процессов в одном сервисе соответствуют изменениям в другом.
В IT-системах существуют специализированные решения для автоматической или автоматизированной реконсиляции данных, например, интеграционные сервисы или инструменты для работы с большими данными.
Реконсиляция является критически важным бизнес-процессом, поскольку обеспечивает:
Данные по операциям с ценными бумагами поступают в учетную систему из разных независимых источников — торговых площадок, SWIFT, внутренних учетных систем брокеров и т.д. Из-за различий в форматах сообщений, задержек обновления и особенностей учета информация по сделкам в этих источниках может не совпадать. Например, один источник может отражать уже обновленные обороты и остатки, а другой — с задержкой или неполные. Чтобы исключить ошибки в учете и снизить операционные и финансовые риски, необходимо сверить данные по совершенным операциям на стороне покупателя и продавца.
Заказчик — крупный профессиональный участник рынка ценных бумаг, осуществляющий брокерскую и дилерскую деятельность. Компания работает на всех основных торговых площадках российского рынка ценных бумаг и ежедневно обрабатывает несколько сотен тысяч сделок.
Для реконсиляции заказчик использовал специализированную зарубежную программу REC 7.
Общая схема процесса реконсиляции
В своей деятельности компания-заказчик использует 4 вида реконсиляции. В рамках проекта ставилась задача разработки прототипа одного из видов реконсиляции на отечественном программном продукте с идеей построить остальные 3 системы самостоятельно. Кроме того, требовалось расширение функциональности системы по сравнению с зарубежным аналогом.
На вход система должна получать данные из нескольких источников в различных форматах: CSV, XML, SWIFT MT535, *.xlsx, понимать наличие новых файлов, наличие в них полезной информации, ее актуальность и полноту.
Помимо непосредственно сверки данных необходимо было обеспечить контроль качества входящей информации, хранение результатов, формирование отчетности и возможность дальнейшего развития решения.
Решение имеет модульную структуру и осуществляет полный цикл обработки данных — от загрузки файлов и их предобработки до выполнения реконсиляции и формирования отчетов.
Логическая схема реконсиляции
Ключевой шаг - сопоставление (matching). После него участники сделки получают отчет о реконсиляции. Если все ключевые параметры совпали (статус All matched), то процесс завершается. Если нет, то запускается процедура корректировки и выполняется следующий цикл обработки.
Схема потоков данных
Запуск системы может быть выполнен по расписанию, триггеру или директивно. При каждом запуске система проверяет наличие необработанных файлов на входе, изменений в справочниках.
В основе решения — платформа Loginom. Она использовалась для загрузки и обработки данных, реализации логики реконсиляции, интеграции с внешними источниками и формирования отчетности. Для хранения справочной информации, результатов обработки и истории реконсиляции использовалась база данных PostgreSQL.
В рамках проекта были реализован модуль обработки SWIFT-сообщений всех форматов, включая MT535, который использовался в проекте. Система может быть масштабирована. Разработанные в рамках проекта компоненты можно переиспользовать.
Схема развертывания
Наличие нескольких серверов обусловлено требованиями обеспечения высокой производительности и надежности. Система будет работать и в случае размещения всех элементов на одной машине, но производительность и отказоустойчивость при этом снизятся. Развертывание системы на своих мощностях производилось полностью силами заказчика.
При проектировании архитектуры и разработке сценария помимо требований надежности, масштабирования, развития функциональности были предприняты усилия для обеспечения простоты восприятия и быстрого погружения сотрудников заказчика в работу системы.
Фактически заказчик получил не только решение своей текущей задачи, но и основу для реализации других видов реконсиляции.
Отдельное внимание было уделено обеспечению необходимой производительности. При испытаниях подтверждена загрузка и реконсиляция 100 000 записей с каждой стороны в течение 3 минут.
По итогам проекта была разработана и внедрена отечественная система реконсиляции, заменившая зарубежное решение REC 7 в рамках программы импортозамещения заказчика.
Заказчик существенно снизил политические и экономические риски, получил дополнительную функциональность продукта.
Система успешно прошла испытания и была принята заказчиком в промышленную эксплуатацию.
Разработанная архитектура позволяет использовать созданные модули для реализации других видов реконсиляции.
Проект стал очередным примером успешного импортозамещения специализированного финансового программного обеспечения и подтвердил возможность реализации подобных решений на платформе Loginom.
Другие материалы по теме:
Монетизация данных с Loginom. Кейс PARUS Asset Management
Loginom как элемент концепции self-service в НСПК (Карта МИР)
