Система определения актуальных рыночных цен. Пилотный проект

Заказчик — одна из ведущих групп компаний в сфере добычи и переработки минеральных ресурсов с интегрированными, энергетическими и логистическими предприятиями.

Запуск пилотного проекта должен был ответить на вопрос: возможно ли качественно решить задачу по поиску актуальных рыночных цен на товары или услуги?

Ситуация до старта проекта

Актуализация рыночных цен проходила следующим образом:

1. Менеджер получал документы с позициями товаров или услуг.
2. Осуществлял поиск цен на товары или услуги по наименованиям в интернете, прайс-листах, коммерческих предложениях и т.д.

При расширении компании выросла нагрузка на менеджера. Пришлось искать новых специалистов и обучать их. Со временем работы становилось больше, ее распределили по отдельным подразделениям, которые классифицировались по направлениям поиска (группы товаров/услуг).

Человеческий фактор тормозил бизнес-процессы. Все различия в названиях товаров и услуг специалисту приходилось держать в голове. Отсутствовала автоматизация.

Цель — снижение рутины и передача опыта специалистов автоматизированной системе. Для ее достижения необходима было решить следующие задачи:

1. Сократить ручной труд и затраты на него.
2. Решить кадровые проблемы.
3. Повысить точность определения актуальных цен за счет обработки большего объема информации.
4. Запустить новые бизнес-процессы, основанные на использовании информации об актуальных ценах.

Проблемы в данных

Одна из первых и главных проблем реализации проекта — это неструктурированная информация. Название товаров и услуг на каждом сайте (прайс-листе) указано по-своему, часто присутствуют сокращения.

На картинке представлены записи одного и того же товара (болт со значениями длины и диаметра, с указанием ГОСТа) из 4 разных источников данных: нет единого наименования.

Еще одной трудностью стало использование латинских букв вместо кириллицы. Присутствовал разный регистр.

На первом этапе было необходимо очистить описания товаров, чтобы снизить их вариативность.

Проект: Система интеллектуального анализа ценовой информации (СИАЦИ)

Специалистами компании Loginom была разработана система определения рыночных цен.

До запуска проекта бизнес-процесс выглядел следующим образом:

После запуска:

Преимущества новой системы:

1. Минимум ручной работы.
2. Автоматический сбор.
3. Анализ больших объемов.
4. Автоматическое оповещение.

Загрузчик ценовой информации — это специальный механизм, который приводит информацию к единому формату загрузки на входе. Данные поступают из различных источников, специальные решения формируют их в «единый прайс лист».

На входе данные попадают в подсистему подготовки ценовой информации, которая выполняет этапы по очистке, нормализации, классификации и структуризации информации. После чего подготовленные данные сохраняются в базу данных.

Следующим шагом данные попадают в подсистему использования ценовой информации, которая представляет собой набор сценариев для расчета цены. Система складывает результаты обработки обратно в базу данных, откуда с помощью подсистемы интеграции с внешними системами информация становится доступна пользователям.

Рассмотрим более подробно механизм определения рыночных цен на товары и услуги.

Технологический стек

Loginom Server — аналитика:

• планировщик задач;
• сценарии обработки данных;
• сценарии и веб-сервисы интеграции;
• веб-сервисы бекэнда АРМ (автоматизированное рабочее место) СИАЦИ;

PostgreSQL — базы данных.

HTML, CSS, JavaScript — АРМ СИАЦИ.

Автоматизированное рабочее место разработано заказчиком, вся обработка — на Loginom.

Loginom можно использовать для полностью автономных решений, в которых вся обработка строится практически без участия человека. Именно такой механизм был реализован в системе.

Существует особый сценарий Loginom — планировщик задач. Он запускается по времени и отслеживает события. Планировщик записывает их в специальную таблицу базы данных.

Структура сценариев стандартизирована:

1. Раскладка задач в табличную форму.
2. Считывание необходимых исходных данных.
3. Конвейер обработки.
4. Сохранение результатов и логирование.

Рассмотрим более подробно конвейер обработки информации. Он состоит из следующих этапов:

1. Валидация. Параллельно — определение страны, единиц измерения и валюты.
2. Нормализация. Очищение, снижение вариативности.
3. Классификация. Используется для установления онтологического класса.
4. Выделение атрибутов и определение значений.
5. Все данные соединяются с помощью компонента Дополнения данных. 

   

Расчет цен происходил следующим образом:

1. Поиск ценовых претендентов. Стратегия сопоставления. Может быть жесткое равенство или сопоставление по диапазону, нечеткий поиск.
2. Метод расчета цен. Устранение аномалий.
3. Индивидуальный подход. На выходе для каждого запроса своя цена.

   

   Результаты проекта

   Можно выделить несколько преимуществ платформы как средства разработки. Главная выгода от применения Loginom — скорость. 

   1. Использование готовых решений Loginom, широкого набора интеграционных решений.
   2. Прогон данных в процессе разработки и анализа результатов на выходе каждого компонента.
   3. Командная работа. Привлечение экспертов и аналитиков. 

   Дополнительным плюсом системы является ее потенциал для будущего развития. Заказчик может постепенно дополнять систему в соответствии с потребностями, за счет:

   • Расширяемости системы. Алгоритмы использования ценовой информации могут разрабатываться аналитиками компании заказчика и легко встраиваться в нее.
   • Масштабирования решений. Архитектура Loginom допускает как вертикальное, так и горизонтальное масштабирование.

   Следующим важным преимуществом использования Loginom является поддержка. Разработанная система легко передается заказчику:

   • обучение на сценариях Loginom;
   • заказчику не нужны высококвалифицированные программисты для сопровождения системы, порог входа в low-code ниже, чем в другие системы;
   • минимум документации — сценарии обработки показывают весь процесс.

   Перспективы проекта

   Система использования актуальной ценовой информации может легко поддерживаться и развиваться заказчиком. В перспективе проект можно совершенствовать и добавить в него:

   • Очистку нормативно-справочной информации.
   • Структуризацию и использование в бизнес-процессах любой (не только ценовой) информации.
   • Подбор товарных (информационных) аналогов.

   Очищенная и систематизированная информация по нормативно-справочной информации — это фундамент решения многих бизнес-задач.

   Подробнее об использовании Loginom для определения актуальных цен в выступлении Александра Зацепина, ведущего аналитика Loginom Company:

   pdfОпределение актуальной рыночной цены.pdf

   Другие материалы по теме:

   Автоматизация процесса прогнозирования выручки от реализации инвестиционных проектов. Кейс ЭОС

   Loginom Data Quality

   Курс Loginom Skills «Стандартизация и очистка НСИ»