Семантический слой

Сегодня организации имеют технические возможности для сбора огромных объемов бизнес-данных. Их интеллектуальный анализ позволяет получать новые знания о бизнес-процессах, способствующие принятию эффективных управленческих решений. Однако большие объемы и сложность данных требуют адекватных механизмов их сбора, хранения и обработки, реализация которых предполагает определенные навыки в области IT.

В результате возникает ситуация, когда аналитик больше озабочен тем, как получить, сохранить и преобразовать данные к виду, наиболее пригодному для анализа, чем, собственно, самим процессом их аналитической обработки. В итоге эффективность его работы снижается. Именно для преодоления этого негативного явления и нужен семантический слой.

Семантический слой — это механизм, который позволяет отображать сложные структуры данных в знакомые бизнес-термины, такие как продукт, клиент или доход, чтобы создать единое, консолидированное представление информации по всей компании. Используя, общие бизнес-термины, а не профессиональные низкоуровневые языки для доступа, манипулирования и обработки, семантический слой избавляет бизнес-пользователя от необходимости сосредотачиваться на процедурах управления данными в ущерб задачам их анализа.

Семантика — древнегреческое слово, обозначающее связь между словами, фразами, знаками и символами, которая придает им определенный смысл. С точки зрения корпоративных данных это означает использование связей между схемой, таблицами и столбцами в хранилище или озере данных для создания очень простого бизнес-представления. Это позволяет скрывать сложность исходной информации и обеспечивает согласованное представление измерений, метрик и иерархий, которые можно использовать для анализа.

Интеллектуальный семантический слой — это уровень абстракции, обеспечивающий согласованный способ интерпретации данных. Он отображает сложные данные в знакомые бизнес-термины, чтобы пользователи всего предприятия могли получить доступ к одному и тому же источнику достоверной информации с полной уверенностью в его целостности. Идея состоит в том, чтобы собрать все определения и бизнес-логику в одном месте, а затем централизованно управлять ими и вносить изменения. Основная цель семантического слоя — сделать данные более полезными для бизнеса и упростить выполнение запросов для пользователей.

В семантическом слое бизнес-термины хранятся в виде объектов, доступ к которым осуществляется через бизнес-представления, единые для всей организации при анализе данных. Они содержатся в различных источниках, как консолидированных (хранилищах, витринах), так и локальных (OLTP и учетные системы, документы и т.д.). Простыми словами, семантический слой — это технология бизнес-аналитики, которая освобождает пользователей от рутинных задач управления данными и обеспечивает более эффективное решение проблем, связанных с поддержкой принятия решений.

Семантический слой

Семантический слой располагается между ХД (хранилищем данных) и пользовательскими приложениями и обеспечивает упрощенное и единообразное представление информации, независимо от сложности ее основных источников. Он представляет собой логический уровень, который:

• сопоставляет физические структуры данных с элементами их концептуальной модели;
• определяет все правила и отношения между элементами данных;
• предоставляет общий словарь для данных в бизнес-терминах.

В результате бизнес-пользователи могут легко взаимодействовать с данными, даже не обладая профессиональными техническими знаниями об их источниках.

Уровни семантического слоя

Семантический слой принято разделять на уровни, каждый из которых реализует свой функционал. Набор уровней может изменяться в зависимости от задачи, используемых источников данных и приложений. Полный универсальный (рассчитанный на все возможные случаи) семантический слой должен содержать следующие четыре уровня:

• Уровень моделирования данных. На нем задаются определения метрик и модели данных, которые должны обеспечить получение всеми приложениями согласованной и непротиворечивой информации.
• Уровень управления доступом. Обеспечение контроля доступа, который гарантирует, что каждый конечный пользователь получит доступ только к той информации, которая предназначена именно для него.
• Уровень кэширования. Производит буферизацию источников данных, что обеспечивает высокий уровень параллелизма и позволяет избежать задержек получения информации приложениями.
• Интерфейсный уровень. Обеспечивает совместимость между различными источниками данных и последующими приложениями.

Например, если источники данных локальные и не предполагают значительных задержек, характерных для передачи по глобальным сетям, то уровень кэширования может не потребоваться. Аналогично, если контроль доступа организован на уровне приложений, то в семантическом слое он необязателен.

Основные подходы к созданию

Концепция семантического слоя почти так же стара, как и сами инструменты BI. Раньше каждый инструмент имел свой семантический слой и использовался конкретными командами внутри предприятия. Это было время, когда источники данных были в основном разрозненными, а их объемы умеренными. Однако по мере их увеличения предприятия начали консолидировать все свои данные на современных платформах, в то время как бизнес-пользователи продолжали использовать существующие знакомые инструменты бизнес-аналитики.

Использование нескольких версий бизнес-логики в каждом инструменте BI часто приводило к разной интерпретации одних и тех же данных. И именно поэтому стало важно создать единое представление как для аналитических инструментов, так и бизнес-групп.

Существует множество различных подходов к реализации семантического слоя. Он может быть организован для BI-приложений, хранилищ и конвейеров данных или быть универсальным, т.е. адаптируемым к любым задачам и приложениям.

Семантический слой для BI-инструментов. Большинство средств BI позволяют аналитикам определять свои собственные семантические модели — измерения, факты и иерархии. Один из вариантов — позволить бизнес-пользователям создавать свои собственные семантические модели с помощью инструментов, которые они используют. Однако в этом случае трудно добиться единого источника правды. Необходимо иметь общее представление данных, чтобы разные команды могли получить доступ к своей информации, используя общие бизнес-термины.

Семантический слой для BI-приложений

После создания семантического слоя для BI-приложения любая модель станет доступна всем бизнес-пользователям, использующим данное приложение.

Универсальный семантический слой. В отличие от предыдущего варианта, где для каждого приложения создается собственный семантический слой, здесь имеет место единый слой для всех BI-приложений, используемых в компании. При этом одна и та же модель станет доступна всем бизнес-пользователям независимо от используемого ими инструмента бизнес-аналитики.
 

Универсальный семантический слой

Семантический слой в ХД. Это набор метаданных и описаний, которые предоставляют контекст и значение для данных, содержащихся в ХД. Он обеспечивает эффективный доступ к его содержимому, упрощает его анализ и интерпретацию.

Семантический слой для ХД включает в себя описание структуры и источников данных, истории их изменений, правила и ограничения доступа, а также информацию о предметной области. Благодаря семантическому слою пользователи могут быстро и точно находить нужную информацию, определять взаимосвязи между различными бизнес-объектами и принимать обоснованные решения на основе анализа.

Типы семантических слоев

В зависимости от того, для поддержки какой информационной структуры разрабатывается семантический слой, может быть определен его тип:

1. Толстый. Используется для поддержки работы ХД.
2. Тонкий. Еще называется виртуальным. Не содержит данные, а только правила, описывающие их логику. Используется совместно с виртуальными ХД.
3. Гибридный. Поддерживает как режим ХД, так и виртуальный. Разработчики могут определить, какие таблицы в семантической модели являются хранимыми, а какие — виртуальными. Это может помочь найти компромисс между производительностью и сложностью. В некоторых случаях данные могут быть настолько большими, что семантическая платформа просто не сможет эффективно их хранить, и в таком случае гибридная модель выглядит наиболее привлекательной.
4. Метасемантический. Является сравнительно новым направлением. Его основная особенность в использовании открытой архитектуры, когда определения метрик описываются на платформо-независимом языке, что обеспечивает высокую переносимость семантических моделей.
5. Универсальный. Образует независимый уровень между «сырыми» данными и потребителями информации. В этом случае семантические модели представляют собой заранее определенные представления данных, которые абстрагируют сложность и используют бизнес-ориентированные определения. Здесь же может задаваться иерархия измерений.

Приведенные типы семантических слоев ориентированы на решение задач, связанных с бизнес-аналитикой и интеллектуальным анализом данных в технологиях поддержки принятия решений в сфере управления бизнесом. Однако их использование может быть и в других областях IT, поэтому могут упоминаться и другие типы.

Преимущества и недостатки использования семантического слоя

Использование семантического слоя дает следующие преимущества:

• семантический слой позволяет не ограничиваться при анализе данных одним BI-приложением, а подключать к задаче множество различных инструментов, платформ, протоколов и т.д.;
• создание единого источника истины — информационной архитектуры, когда любой элемент данных обрабатывается и редактируется только в одном месте, исключает несоответствия между ними у различных бизнес-пользователей и их противоречивую интерпретацию;
• повышается производительность аналитических запросов и снижаются вычислительные затраты;
• обеспечивается безопасность — поскольку семантический слой находится между платформой данных и инструментами аналитики, он гарантирует безопасность информации с помощью аутентификации и авторизации;
• повышается уровень аналитики самообслуживания, т.е. предоставляется доступ к данным всем сотрудникам, независимо от степени технической подготовки.

Вместе с тем с семантическим слоем может быть связан и ряд проблем.

1. Необходимость дополнительных затрат на поддержку и синхронизацию при изменении инфраструктуры данных.
2. Непонимание целей и задач при проектировании и построении семантического слоя может привести к снижению качества данных и ухудшению результатов анализа, что повлечет принятие неверных управленческих решений.

В настоящее время компании вкладывают значительные средства в создание и поддержку хранилищ и приобретение всевозможных инструментов для своих бизнес-аналитиков, аналитиков данных и разработчиков приложений. Семантический слой поможет оправдать эти инвестиции, обеспечивают большему числу пользователей доступ к информации и способствуют увеличению числа принимающих решения на основе данных.

Другие материалы по теме:

Система определения актуальных рыночных цен. Пилотный проект

Loginom – low-code аналитика на предельной скорости