DataOps: современная технология управления данными

В мире получила широкое распространение новая концепция управления жизненным циклом данных, объединяющая процессы разработки и эксплуатации соответствующего программного обеспечения. В ее основе лежит идея организации взаимодействия между командами разработки и эксплуатации с помощью культуры сотрудничества, процессов и технологий, направленных на повышение надежности и качества продукта. Эта концепция начала активно внедряться в различных направлениях информационных технологий, где получила название, состоящее из наименования направления с постфиксом «Ops», что означает «operations» — от англ. оперирование, действие.

Первым направлением, в котором получила развитие «операционная» концепция, стала разработка программного обеспечения. Данная методология стала известна под названием DevOps (development and operations) и была направлена на автоматизацию технологических процессов сборки, настройки и развертывания ПО. Результаты были столь впечатляющими, что концепция получила широкое внедрение в других направлениях. Так, появились:

• DecisionOps — для улучшения моделей решений на основе анализа данных и машинного обучения;
• AIOps — для повышения эффективности IT-инфраструктуры компании с применением технологий искусственного интеллекта;
• MLOps — для эффективного управления моделями машинного обучения;
• NoOps — для максимальной автоматизации IT-процессов компании, исключающей или сводящей к минимуму необходимость операций со стороны персонала;
• FinOps — для автоматического отслеживания и оптимизации затрат на поддержку облачной инфраструктуры компании;
• SecOps — для комплексного обеспечения информационной безопасности.

При этом список «операционных» подходов непрерывно растет, а сами они стали неотъемлемой частью жизненного цикла большинства IT-продуктов. В то же время ops-навыки становятся важным критерием оценки уровня команды разработчиков.

В статье обсуждается подход DataOps — интегрированная, автоматизированная и процессно‐ориентированная технология совместного управления данными, используемая IT‐командами и аналитиками. Процессная ориентированность подразумевает подход, в котором управление данными рассматривается как совокупность взаимосвязанных процессов, направленных на достижение требуемого результата, а не отдельных видов деятельности. В настоящее время DataOps может рассматриваться как новый и независимый подход к анализу данных. Эта методология позволяет извлечь максимальную пользу из данных, превратив их из бесполезного груза в ценный актив.

В то время как DevOps занимается оптимизацией задач разработки программного обеспечения, DataOps фокусируется на автоматизации процессов управления данными и их анализа. Кроме этого, DataOps уделяет первостепенное внимание автоматизации повторяющихся и ручных операций, чтобы освободить специалистов по работе с данными для решения стратегических задач.

Проще говоря, DataOps — это аналог DevOps для данных. Если целью DevOps является организация непрерывного процесса разработки и запуска программного обеспечения, то в DataOps реализуются непрерывный и беспрепятственный доступ к данным и извлечение из них полезных знаний для выработки управленческих решений.

Цели и задачи DataOps

Считается, что данные являются важнейшим ресурсом компании. Но это не всегда так: если данные просто лежат мертвым грузом, то они уже не ресурс, а статья расходов. Чтобы приобрести бизнес‐ценность и стать конкурентным преимуществом, корпоративные данные должны активно использоваться для поиска лучших решений при управлении организацией.

В современном мире нет ни одной IT-компании, способной контролировать и проектировать все процессы управления данными, необходимые предприятию. Данные стали основой, на которой строится сложная корпоративная логика, охватывающая множество приложений. Поэтому основной задачей DataOps является обеспечение быстрой доставки существующих и новых сервисов и продуктов в условиях динамически меняющихся требований, бизнес-окружения, инфраструктуры и семантики данных, предотвращая при этом угрозы их безопасности.

Основными целями DataOps являются:

• обеспечение высокой бизнес-ценности данных и управление связанными с ними рисками;
• отход от ручного управления данными, которое отнимает недопустимо много времени в условиях постоянно меняющихся потребностей бизнеса, и переход к автоматическим конвейерам данных;
• устранение разрозненности между производителями и потребителями информации;
• повышение эффективности сотрудничества между командами, отвечающими за управление данными и их анализ;
• организация и оркестрация конвейеров;
• мониторинг и обеспечение качества данных.

В отличие от традиционных подходов к управлению данными, в которых аналитические решения разрабатываются длительное время разрозненными командами, DataOps позволяет организовать непрерывный конвейер аналитической обработки данных с оперативной обратной связью.

Таким образом, в основе идеи DataOps лежит превращение аналитики данных в конвейерный процесс, который по аналогии с конвейерами на производстве, скажем, автомобилей, позволяет ускорять выход продукции, снижать издержки и повышать качество за счет его непрерывного контроля. Только вместо автомобилей на конвейерах DataOps будут аналитические решения.

Основными принципами DataOps являются:

• сотрудничество и взаимодействие — преодоление разобщенности между командами управления данными, аналитиками и бизнес-подразделениями, открытое общение и организация командной работы для согласования целей, устранения узких мест и создания единого подхода к управлению данными;
• автоматизация — сокращение ручного труда при выполнении рутинных задач, управлении потоками данных и мониторинга;
• непрерывная интеграция и непрерывное развертывание — использование методологии CI/CD (Continuous Integration/Continuous Delivery);
• мониторинг — отслеживание ключевых показателей на протяжении всего жизненного цикла данных для обеспечения оптимальной производительности, выявления аномалий, оценки эффективности в режиме реального времени.

Жизненный цикл DataOps

Жизненный цикл DataOps — это процесс, который начинается с сырых данных и заканчивается получением знаний с высокой бизнес-ценностью. Он включает в себя следующие этапы:

• Планирование — формирование стратегии того, как бизнес-требования могут быть удовлетворены с помощью аналитики данных: какие шаги следует предпринять и какие технологии использовать. Кроме этого, на данном этапе обычно определяются бюджет проекта и требования к производительности.
• Разработка — написание кода и создание конвейеров обработки данных.
• Сборка — отдельные разработанные модели собираются в единую функциональную систему.
• Тестирование — данные проверяются на соответствие заданной бизнес-логике и желаемому результату, а также производится их разведочный анализ.
• Реализация — данные передаются в тестовую среду для дальнейшей проверки.
• Развертывание — данные развертываются в рабочей среде.
• Эксплуатация — продукт (данные и модели их анализа) предоставляются заинтересованным сторонам и запрашивается обратная связь. Она необходима для обнаружения проблем и недостатков, их оперативного устранения.

Мониторинг — непрерывное наблюдение за всем процессом с целью отслеживания отклонений и их оперативного устранения.

Жизненный цикл DataOps

К потребностям бизнеса при работе с данными по схеме, показанной выше, относятся:

• высокое качество данных;
• эффективная командная работа;
• надежность;
• скорость;
• безопасность.

Под бизнес-ценностью в этом контексте подразумевают:

• быстрое обнаружение ошибок;
• обеспечение понимания данных (инсайтов) в реальном масштабе времени;
• эффективность использования данных;
• рост возможностей компании.

Процессы, реализуемые в рамках DataOps

Использование технологий DataOps предполагает реализацию комплекса рабочих процессов, основными из которых являются:

• автоматизация рутинных операций, связанных с извлечением, преобразованием и загрузкой данных (ETL/ELT), а также контролем их качества и очисткой;
• непрерывная интеграция и доставка (CI/CD) — автоматическое тестирование корректности моделей, их интеграция, развертывание в производственной среде и доставка всем заинтересованным сторонам;
• непрерывный мониторинг состояния конвейеров данных с регистрацией метрик и логов, обеспечивающих реакцию на сбои в реальном масштабе времени;
• обеспечение гибкости и масштабируемости на уровне, позволяющем сохранять производительность при увеличении объемов данных и усложнении задач их анализа.

Корпоративная культура DataOps

Наконец, еще одной важной составляющей технологий DataOps является формирование в компании соответствующей культуры и мышления, без которых самые продвинутые технологии управления данными не обеспечат достижения желаемых результатов. С целью создания успешной культуры DataOps важно согласовать бизнес-цели с общей стратегией управления данными в организации. Для этого могут быть предприняты следующие шаги:

• Определение четких и понятных бизнес-целей по SMART: каковы основные задачи и стратегические приоритеты, к которым стремится компания? Они должны быть конкретными, измеримыми, достижимыми, актуальными и ограниченными по срокам.
• Выявление заинтересованных сторон: организация взаимодействия с различными заинтересованными сторонами, такими как руководители, инженеры данных, аналитики и конечные бизнес-пользователи. При этом важно, чтобы все понимали бизнес-цели и свой вклад в их достижение.
• Формирование требований к данным: определить, какие типы и форматы источников будут использованы, выявить возможные проблемы, оценить доступность и качество имеющейся информации.
• Разработка стратегии работы с данными: концепции управления, включающей все необходимые процедуры, программное и аппаратное обеспечение для их сбора, хранения, организации, анализа и представления. Она должна охватывать все аспекты управления данными, соответствовать общим бизнес-целям и обеспечивать плавную интеграцию с текущими системами.
• Внедрение описанных выше принципов и рабочих процессов DataOps.
• Мониторинг и адаптация: непрерывное отслеживание эффективности процессов управления данными, прогресса в достижении бизнес-целей на основе заданных ключевых показателей эффективности (KPI) и метрик, регулярный пересмотр и коррекция стратегии в соответствии с изменениями потребностей бизнеса, а также своевременное устранение выявленных недостатков и слабых мест.
• Развитие культуры данных в компании: обеспечивать возможность обучения и ресурсы для поддержки сотрудников всех уровней для формирования Data-driven мышления.
• Формирование кросс-функциональных команд, включающих представителей разных подразделений и владеющих различными навыками, знаниями и опытом. Такое междисциплинарное сотрудничество способствует улучшению коммуникации, пониманию сложных вопросов и повышению эффективности работы.

Подводя итог, можно сделать вывод, что внедрение технологий DataOps не является одномоментным проектом, а представляет собой многоэтапный процесс, требующий привлечения и активной деятельности всех работников компании, связанных с работой с данными и заинтересованных в получении ее результатов. Тем не менее, успешная имплементация DataOps позволит не только превратить данные компании из бесполезного груза в ценный стратегический актив, но и сделать это максимально эффективно.

Другие материалы по теме:

Low-code на автопилоте: AutoML и автодокументирование в Loginom

ModelOps в Loginom: управление моделями и экспериментами