Построение единой аналитической системы для компаний среднего бизнеса и производств

Единая аналитическая система (Business Intelligence, BI-аналитика) — совокупность программного обеспечения, методов анализа и документирования данных, решающая следующие задачи:

• Автоматизированное извлечение данных из различных информационных систем: ERP, CRM, табличные файлы, XML, облачные сервисы и т.д.
• Очистка и обогащение данных для упрощения их использования в анализе. Чтобы данные сразу предоставляли ясное руководство для дальнейших действий.
• Формирование из полученных данных единой структуры или аналитического хранилища данных (АХД), к которому могут обращаться аналитики и бизнес-пользователи компании для формулирования и проверки гипотез. Изначально информация лежит в разных системах, а в АХД она доступна как взаимосвязанный массив.
• Автоматизация запуска целевых действий и предоставление опережающих сигналов сотрудникам компании на основе данных в АХД. Для того чтобы не упускать возможности и не получать лишних проблем.
• Описание процессов работы с данными компании, содержащее глоссарий терминов и подходы к решению бизнес-задач, а также правил доступа. Это необходимо, чтобы любой новый сотрудник знал, где лежит информация, что она означает, и как ее использовать в своей работе.

Примеры внедрения эффективной аналитики

Идеи управления бизнесом на основе данных давно витают в воздухе, и блистательные кейсы на конференциях будоражат умы. Во всех них прослеживается цепочка:

1. Автоматизировали обработку данных.
2. Внедрили дашборды.
3. Настроили хранилище.

Получили на выходе:

• Сокращение затрат времени подготовки отчетов на порядки.
• Рост выручки на 100+ процентов ежегодно.
• Открытие 20 новых отделений.
• Увеличение клиентской базы в 5 раз.
• Снижение издержек на 47%. И т.д. и т.п.

При этом вендоры аналитических систем заявляют о том, как их платформы дружелюбны к пользователям, и как легко в них начать создавать аналитические решения даже тем, кто не является экспертом в программировании.

Однако, что на самом деле стоит за выдающимися результатами? И как компаниям, в штате которых нет специалистов по разработке комплексных аналитических проектов, внедрить работу с данными для получения финансовой отдачи?

Где же деньги в этой аналитике

Самое главное, что нужно знать о всех случаях, где внедрение BI сопряжено с реальным ростом финансовых показателей, — это результат работы менеджмента компании, который использовал BI-аналитику для поиска, создания и реализации конкурентных преимуществ в бизнесе.

Из этого следует, что польза от BI будет в 2-х случаях:

• В команде есть менеджмент, которому текущие способы сбора, обработки и представления данных не дают реализовать весь потенциал.
• Бизнесу нужно конкурировать. Конечно, если работать там, где все «растет как после дождя», то проще сфокусироваться на том, чтобы больше производить и продавать, пока тема жива. Задумываться на этом этапе о глубоком анализе может быть нецелесообразно.

Но это не значит, что не нужно заранее готовить инфраструктуру для времени, когда подтянутся конкуренты.

Можно ли получить финансовую выгоду непосредственно за счет устранения ручной обработки данных? Если компания уже имеет достаточные ресурсы для содержания отдельного отдела, занимающегося ручным анализом данных, то потенциальная финансовая выгода заключается в внедрении BI и последующем сокращении этого отдела, что в свою очередь приведет к оптимизации затрат. В остальных случаях BI окупается только в комплекте с реализацией проектов вашего менеджмента.

Менеджмент перерос систему аналитики

Менеджерские заторы с аналитикой и управлением, как правило, связаны с возрастающим масштабом бизнеса. Допустим, уже есть устоявшаяся модель управления с определенными отчетами, или в штат нанят менеджер, у которого есть свои подходы к управлению, и он их структурировал как набор Excel-файлов.

На пяти филиалах все работало хорошо, аналитик заполнял Excel-файл, делал расчеты. Информация поступала еженедельно, работа подразделений своевременно корректировалась, но на десяти филиалах аналитику стало труднее, а на пятнадцати уже нереально. Картина собирается уже ежемесячно или даже ежеквартально, качество управления и скорость реакции падает. Найм дополнительных аналитиков на разбор данных помогает, но на целевую скорость управления все равно не удается выйти.

А еще кто-то должен администрировать работу аналитиков. Тут не вовремя данные собрали, там ошибку пропустили, здесь не заполнили — и вот уже вместо четкой системы управления имеем картину сомнительной достоверности.

Кстати, откуда взялся Excel-файл, если весь учет идет, например, через 1С, в котором есть все отчеты? Дело в том, что для решения задач управления часто требуется рассчитывать атрибуты и показатели, которых в 1С нет. Строить прогнозы, формировать сегменты.

Это не делалось в 1С, потому что скорость полета менеджерской мысли на порядки превышает скорость доработок в 1С. Кроме того, у разработчиков 1С часто уже забит рабочий график более срочными задачами, связанными с поддержкой операционки бизнеса, новыми интеграциями и т.д. Поэтому менеджеру проще делать в Excel.

Также, помимо основного источника данных в виде ERP (Enterprise Resource Planning, планирование ресурсов предприятия) могут быть дополнительные выгрузки из других систем и сервисов. И даже вручную вносимые данные. BI-аналитика позволяет эти данные очистить, обогатить, собрать все это под одну крышу (в аналитическое хранилище), визуализировать их наглядный вид. И дает возможность интерактивно исследовать (проваливаться в цифры).

Автоматизированный сбор и анализ данных позволяет восстановить скорость, глубину и качество контроля. И усилить их, даже по сравнению с временами, когда все процессы в компании были как на ладони, потому что все находились в одном помещении.

Влияние BI-аналитики на качество управления

Наличие под рукой ключевых показателей без необходимости ожидания их расчетов дает:

• Улучшение коммуникации между сотрудниками, в т.ч. позволяет им решить вопросы между собой, не передавая их на уровень руководства.
• Высвобождение у менеджмента и аналитиков времени на то, чтобы разрабатывать планы действий, а не растрачивать силы на сборку и проверку отчетов.

Когда много времени уходит на отчет, человек хочет понять, что делать дальше, а сил уже нет. Он не дает в полной мере то, что ожидают от него руководители компании и акционеры, хотя формально его не за что ругать.

Когда аналитика автоматизирована, можно добиваться больших результатов меньшими трудозатратами.

Помощь BI-аналитики в конкуренции

Наличие хорошей аналитической инфраструктуры дает возможности по созданию продуктов (сервисов) на основе данных. Как внутренних, так и внешних.

Внутренние сервисы являются частью рабочего места линейных сотрудников, и улучшают проводимость стратегии бизнеса на уровень исполнителей.

Например, менеджер по продажам может получать рекомендации по работе со своими клиентами на основе их поведения и важности для компании. Сразу понимая коридор вариантов, в котором он может работать с этим контрагентом, а не основываться на личных предпочтениях. Наличие таких решений позволяет существенно снизить порог входа в процессы компании для новых сотрудников и обеспечить соблюдение стандартов работы.

Внешние сервисы работают на привлечение и удержание клиентов. Например, использование встраиваемой аналитики в личные кабинеты дилеров/партнеров/клиентов могут выводить не только необходимый минимум для работы, но и содержать различные механики допродаж. А также просто подчеркивать высокий уровень надежности поставщика, за счет прозрачности и детализации взаиморасчетов.

Самостоятельное внедрение аналитики vs заказ у подрядчика

*Главный вывод: аутсорсить нужно редкие инфраструктурные задачи. Вся операционка и разработка аналитических систем до финального состояния должна быть самостоятельной

Конечно же, невозможно взять на себя 100% разработки и поддержки аналитического функционала. Полная передача подрядчику тоже возможна только в рамках покупки готовых узконаправленных решений.

Например, интегратор внедрил CRM (Customer Relationship Management) и в довесок предложил дашборды в BI как готовое решение. Хотя оно и выполнено на базе BI, это не значит, что является полноценной аналитической инфраструктурой, и что решение смогут доработать под аналитику данных всей компании и учесть нюансы.

На самом деле тут даже кроется определенный риск. Сделав узконаправленное решение, подрядная IT-команда может очень сильно поверить в себя. И подписаться на проект, для успеха которого нужно более широкое понимание того, как готовить аналитику. Взять готовое решение у небольшой команды — это нормально. Делать большой проект с командой без опыта аналогичных проектов — авантюра.

Как тогда разделить зоны ответственности между собой и подрядчиком? Начальная конфигурация отношений может быть любой, но чтобы проект не загнулся через 6 месяцев или год-два нужно будет прийти к следующей схеме:

• Установка и системная настройка аналитического ПО, системное администрирование. Эту задачу можно смело передать — тратить собственные ограниченные IT-ресурсы нет смысла. При необходимости можно регулярные процессы перенять на свою сторону, но это действительно та вещь, которую проще передать команде с большим опытом работы.
• Выгрузка данных из новых источников. В этой задаче есть 2 направления: выгрузка из новых систем (1С подключили, теперь хотим выгружать из облачной CRM) и получение новой информации из уже подключенных систем (уже выгружаем продажи из 1С, а хотим начать выгружать еще остатки).
• Выгрузка из новых систем — достаточно редкая задача, и ее имеет смысл передавать исполнителю с опытом в подобных проектах (если ваша аналитическая система изначально не может получить через встроенные коннекторы). Хорошим вариантом будет найти поставщика готового коннектора для источника, а не нанимать программистов писать его с нуля. Это связано с тем, что у разных систем часто присутствует неочевидная специфика механизмов выгрузки данных, и наличие готового коннектора подтверждает факт системного подхода в работе с источником.
• Выгрузка новых данных из подключенных систем — вот тут уже хорошо бы управлять этим на своей стороне. Уточнить у поставщика коннектора, как именно можно получить таблицы или новые поля. Это существенно сократит цикл доработки аналитики, убрав ненужные коммуникации с разработчиками коннектора по добавлении новой выгрузки.
• Обогащение и трансформация данных, наполнение аналитического хранилища. На старте аналитического проекта можно прибегнуть к помощи подрядчика, чтобы как можно быстрее получить первые результаты.

Но в перспективе нужно держать этот процесс полностью на своей стороне, потому что должно быть понимание:

• как устроены данные;
• какие в них есть проблемы и аномалии;
• как они обрабатываются и обогащаются;
• как они используются в отчетах.

И, конечно же, нужна возможность влиять на них силами штатных сотрудников. Т.к. аутсорс всегда будет отставать от вашего полета мысли, и не получив нужных результатов в срок, приоритет снова начнется смещаться в Excel.

Главное, чтобы процесс первичной разработки у подрядчика допускал бесшовную передачу дел, а не был по системе: «Мы тут написали, теперь разбирайтесь в этом год. Потом вы там что-то напишете, и мы будем разбираться год».

• Разработка отчетов, дашбордов, аналитических решений. В целом тут все аналогично предыдущему разделу. Только с тем нюансом, что анализ и визуализация данных — наиболее динамичная часть системы аналитики. Гарантированно прекратится использование аналитики, в которой для вывода каждого нового показателя, сборки каждого отчета или изменения визуализации нужно будет идти к подрядчику.
• Обучение бизнес-пользователей и разработчиков-аналитиков. Обучение разработке в выбранной аналитической системе можно, как минимум, приобрести у поставщиков ПО. Однако, будет хорошо, если обучение будет включать в себя не только инструкцию из серии «какие кнопки нажимать», но и объяснять проектную методологию, чтобы обеспечить стороне внедрение понятных и масштабируемых подходов в разработке.

Ведь важно не просто сделать аналитику один раз, решение нужно будет развивать и дорабатывать. Многие запросы будут возникать непредсказуемо, и очень важно изначально строить разработку так, чтобы быть готовыми к таким поворотам.

Что касается инструментов, которые разрабатывались для своих бизнес-пользователей: будьте готовы предоставить им материалы, тренинги и поддержку по работе с решением.

• Документирование аналитической инфраструктуры. По мере роста количества источников, отчетов и аналитической команды обязательно потребуется документация относительно структуры аналитического хранилища, описания отчетов, процессов и преобразования данных. Эффективно поддерживать такую документацию можно только силами штатных сотрудников, а также используя соответствующие средства автоматизации.

Построение эффективной аналитики собственными силами

Из предыдущего раздела становится понятно, что без компетенций в разработке аналитики не получится самостоятельно получить прорывных результатов. Проект или угаснет из-за низкой оперативности внесения изменений, или не выйдет за рамки локальных инструментов одного отдела.

Вопрос в том, как эти компетенции получить к себе в компанию. Если рассматривать вариант найма, то возникают следующие проблемы:

• Специалисты, умеющие системно строить бизнес-аналитику, очень редки. Кроме того, будет конкуренция за них с такими компаниями как Сбер, Росгосстрах, X5 и т.д. Даже получив такого эксперта в штат, в случае его ухода есть риск потерять контроль над выстроенной системой (особенно, если руководитель разработки «отдыхал» на заполнении документации).
• Найм младших аналитиков с последующим обучением и развитием чреват тем, что нет готовой системы обучения и контроля. Пройти вендорские курсы недостаточно — на них учат функционалу инструментов, но не дают методологию производства больших проектов — такое нарабатывается только на практике. После набора опыта остается риск потери сотрудника, которого переманит крупный бизнес.

Поэтому есть вариант, который устранит озвученные риски: использовать готовую систему производства аналитических проектов, проверенную и отточенную на десятках внедрений.

Она обеспечит соблюдение стандартов разработки за счет автоматизации рутинных операций, которые обычно занимают порядка 50% рабочего времени аналитика-разработчика. И являются наибольшим источником риска в заведении проекта «в тупик» и создании избыточных трудозатрат.

После нескольких недель обучения и практики младший аналитик выдает результат работы на уровне профи с несколькими годами опыта. Архитектура решения, которую он сделает, всегда будет стандартна и единообразна. А значит, ее будет легко объяснить и передать другим разработчикам в случае масштабирования штата или выбытия сотрудника.

Фактически запускаете конвейер по созданию штатных разработчиков, которые создают и поддерживают.

Готовая система производства аналитических проектов

В основе системы лежит методика, которая сформулирована как резюме десяти лет работы с BI-системами. Методика находится в открытом доступе, ознакомиться с ней можно здесь.

Эта методика и ее подходы одобрены ключевыми представителями российского и зарубежного аналитического сообщества.

Иван Вахмянин

Управляющий партнер Visiology. Эксперт по разработке ПО для анализа и визуализации данных.

Алексей Арустамов

Директор Loginom. Эксперт в разработке аналитического ПО, low-code систем, нейросетей и машинного обучения.

Александр Бараков

Руководитель BI-проектов, консультант (BI Consult), Head of BI (Luxoft), ведущий программы Внедрение BI-стратегии.

Francesco Puppini

Разработчик методологии Unified Star Schema. Author, keynote speaker, teacher, data modeling innovator.

Rob Wunderlich

Owner QSDA Pro & QViewer, Qlikophile, 6x Qlik Luminary.

Проекты на базе этой методики внедрялись в компаниях разного масштаба и подтвердили свою работоспособность, надежность и масштабируемость в течение многих лет.

Чтобы эффективно вести аналитические проекты, мало знать методику. Нужно неукоснительно соблюдать ее, чтобы при росте числа аналитиков, пользователей и при усложнении проекта не зайти в тупик и не выпустить управление данными из рук.

Поэтому мы упаковали методику в библиотеку компонентов «ETL и модели данных для BI». Чтобы пользователь сразу мог внедрить готовые процессы и получить высокую скорость разработки проектов. А не ждать, пока аналитики научатся правильно работать, набивая ошибки в трудовой деятельности. С риском того, что они уйдут от вас вместе с наработанными компетенциями.

Библиотека компонентов закрывает следующие задачи:

• Компоненты верификации данных — проверяют, правильно ли аналитики подготовили данных.
• Компоненты документирования данных — создает описание данных и позволяет легко ориентироваться в них.
• Компоненты создания моделей данных — сокращает около 50% трудозатрат штатных аналитиков. Помогает готовить данные для визуализации в любых аналитических системах.

В дополнение к библиотеке дается доступ к обучающим материалам, которые позволяют за несколько часов:

• Объяснить любому разработчику, как устроены аналитические проекты, какими бы сложными они не были на текущий момент.
• Подключиться к эффективной работе над проектами, даже если в наличии только базовые знания в этой сфере.

  

Посмотреть библиотеку в действии можно здесь.

Другие материалы по теме:

Прикладные бизнес-решения на основе аналитической платформы Loginom

Каталог Loginom Skills

Эффективное обучение работе с платформой Loginom