Чистые данные: ок, что дальше?

Чистые данные: ок, что дальше?

Приветствуем вас на последнем занятии марафона. За прошедшее время проделана большая работа по очистке и обогащению данных. Полученная информация соответствует реальным бизнес-процессам и содержит новые аналитические признаки, недоступные ранее.

Однако недостаточно правильно подготовить таблицы и сделать видимым то, что ранее скрывалось за информационным шумом. Чтобы выполненная работа принесла максимум пользы, нужно разобраться еще с одним аспектом.

Конечной целью аналитики является принятие решений. Следовательно, рассчитанные метрики, показатели, прогнозы должны быть доставлены до «потребителей» — лиц, принимающих решения.

Не все сотрудники захотят и смогут работать в Loginom. Основным инструментом, к примеру, клиентского менеджера является не аналитическая платформа, а CRM-система, где он хотел бы видеть всю необходимую информацию.

Для передачи информации в другие системы в Loginom имеется набор узлов группы Экспорт. Кроме того, можно воспользоваться механизмами интеграции при помощи веб-сервисов: REST или SOAP.

Данные, сформированные в Loginom, могут быть выгружены в сторонние системы, в том числе для нужд пользователей, не работающих с платформой и не имеющих лицензии не нее.

Бизнес-процессы на основе данных

Один из сценариев применения ранее рассчитанных данных для принятия решений может быть следующим:

  1. Раз в месяц профили клиентов пересчитываются и сохраняются в базе.
  2. Текущие показатели сравниваются с данными предыдущего месяца.
  3. Если отклонение показателей больше определенного порога, ответственным сотрудникам высылаются оповещения.

Идеальным вариантом было бы отображать непосредственно в CRM-системе статусы и историю их изменений, а в случае необходимости автоматически запускать бизнес-процессы реагирования. Такие интеграции требуют времени и ресурсов на разработку, поэтому можно начать с простой, но действенной механики — оповещения в месседжерах.

Пример автоматической отправки уведомлений из сценария Loginom в Telergam при помощи чат-бота описан в статье «Уведомления из сценариев Loginom при помощи Telegram». Для этого необходимо зарегистрировать в месседжере чат-бот и воспользоваться готовым компонентом.

Настроить сценарий можно таким образом, чтобы сотрудник не просто прочитал сообщение о проблеме, но и перешел по ссылке в отчет с подготовленными данными.

Аналогичная механика может работать при взаимодействии с другими web-сервисами, что позволяет использовать Loginom как систему поддержки принятия решений.

Loginom идеально подходит в качестве движка («мозга») подобных систем за счет способности обрабатывать большие объемы данных, объединять информацию из множества источников, создавать/изменять/расширять без программирования логику принятия решений.

Кроме того, можно настроить внешнее управление сценариями за счет использования переменных или настроечных таблиц.

Выгрузка данных в другие аналитические системы

Куб – удобный визуализатор, но он не покрывает всех потребностей. Часто требуется изучить данные из множества таблиц, строить дашборды, просматривать графики на смартфоне. Для этого существуют специализированные BI-продукты.

Если возможностей встроенных в Loginom визуализаторов недостаточно, можно подготовленные и очищенные данные экспортировать в сторонние системы.

Наиболее надежный и универсальный механизм обмена — загрузка таблиц в базу. Чаще всего ETL-процессы завершаются экспортом подготовленных данных в БД, витрину или хранилище данных. Но для простоты можно рассмотреть другой распространенный вариант интеграции — обмен при помощи csv-файлов.

Важно! Если вы не сделали практику в теме «Паранормальные явления в работе с данными: откуда берутся выбросы и как устранить аномалии?», то предварительно требуется открыть решение задания предыдущего дня, скачав его ниже.

lgpРешение практического задания. День 11.lgp

В качестве BI-инструмента будет продемонстрирован сервис визуализации Yandex DataLens, предоставляемый бесплатно пользователям Яндекс.Облако.

Для передачи данных в DataLens надо добавить узел экспорта в текстовый файл.

Необходимо создать в рабочей папке проекта каталог CSV и задать имя файла Clients.csv.

Аналогичные действия надо выполнить для выгрузки данных из подмодели Продажи. Только для этого файла нужно задать имя Sales.csv.

В итоге в целевой папке появятся 2 файла, которые будут перезаписываться при каждой активации узла экспорта.

Кстати, при наличии в IT отделе разработчиков, способных писать код, например в 1С, можно настроить загрузку по расписанию данных из файлов в бухгалтерскую систему. Это рабочий сценарий интеграции, особенно на первое время.

Визуализация в Yandex Datalens

Вначале надо зарегистрироваться в сервисе Yandex DataLens, нажав на кнопку ниже. Сервис предоставляется бесплатно. Без ограничений на количество пользователей и запросов.

Далее процесс построения дашбордов в YDL таков:

  1. Создать подключения к данным. Это могут быть коннекты к базам данных или загруженные файлы.
  2. Из подключенных данных нужно собрать Датасет. Это модель данных, т.е. набор таблиц из подключений с прописанными связями между ними. Таким образом, данные из разных источников могут быть объединены в одну структуру.
  3. На основе Датасета создать Чарты — отдельные визуализации, оперирующие данными из датасета как единым целым. Иначе говоря, на одном чарте можно собрать  данные из одной таблицы в разрезе другой.
  4. Последний шаг — создание дашбордов, т.е. рабочих областей, на которые добавляются ранее созданные чарты, а также элементы управления.

Необходимо все описанное выше выполнить для выгруженных файлов.

Вначале надо создать подключение с типом File, загрузив в него файлы продаж и клиентов из папки CSV.

Далее создать Датасет, перетащив в рабочую область таблицу Sales, а после нее — Clients.

В DataLens модели данных строятся по топологии Снежинка. Первая таблица — центральная. К ней присоединяются таблицы второго уровня через Join. Тип Join’a можно задать, если кликнуть по настройке соединения между наборами данных. К таблицам второго уровня могут присоединяться таблицы третьего уровня и т.д.

В настройках полей можно отключить дублирующиеся поля (Client_ID и Покупатель повторяются), а полям показателей задать способы агрегации по умолчанию.

Датасет нужно сохранить под названием Loginom.

Далее надо создать чарт с графиком продаж. Можно попробовать различные варианты настроек.

А затем создать второй чарт со списком клиентов и рассчитанными для них параметрами, вроде группы любимых категорий и статуса. Здесь тоже рекомендуется поэкспериментировать с настройками для выбора наиболее удобного способа представления данных.

Последний шаг — создание дашборда, в котором размещено два ранее настроенных чарта.

Если добавить селектор по полю Тип выброса и Месяц покупки, то можно будет оперативно выявлять клиентов по признаку, генерировали ли они аномальные продажи за период.

Как видно, совместное использование платформы Loginom и BI-систем позволяет взять лучшее из двух миров. В Loginom это возможность повысить качество данных, обогатить аналитическими атрибутами, рассчитать сложные метрики, построить прогнозы, а затем, загрузив в специализированную систему, доставить информацию лицам, принимающим решения в наиболее удобном для них виде.

Заключение

Вот и закончился марафон. Надеемся, что за это время удалось понять, как улучшение качества данных и понимание их сути может повлиять на принятие решений.

Каждый шаг устранения проблем изменял ключевые характеристики портрета клиента, приближая их к реальности. Сама аналитика практически не была затронута в марафоне, но все сделанное несомненно повлияет результат. А значит, выполненная работа не менее важная, чем построение отчетов и их анализ.

Задачи, решенные во время марафона, можно использовать как чек-лист для контроля того были ли выполнены все действия по обеспечению качества данных, а именно:

  • Контроль дублей;
  • Выявление фейковых данных;
  • Анализ редких значений;
  • Заполнение пропусков;
  • Редактирование выбросов и экстремальных значений.

Вы увидели, как Loginom помогает автоматизировать выявление ошибок и упростить рутинные проверки. Работа над качеством поможет, опираясь на анализ цифр, принимать обоснованные решения и находить интересные закономерности, т.е. превратить данные в полезный актив.

Что дальше?

Подписывайтесь на Telegram BI2BUSINESS, где будут публиковаться новые обучающие материалы от Евгения Стучалкина, подходы к разработке аналитических систем с использованием Loginom и не только.

Все самые свежие новости, практические статьи, кейсы и информацию по обновлениям мы публикуем в Telegram-канале Loginom. Также приглашаем в Telegram-чат, который создан с целью обмена опытом и обсуждения различных практических вопросов о продукте.

Эксперт марафона: Евгений Стучалкин, руководитель и архитектор self-service решений BI2BUSINESS