Курс знакомит с концепцией хранилищ данных: от моделей «звезда» и «снежинка» до Data Vault. Обсуждаются многомерные и реляционные хранилища, кубы, измерения и факты, принципы проектирования хранилищ. Практическая часть показывается на СУБД Vertica и Loginom.
Для прохождения курса необходимо иметь базовые навыки работы с платформой Loginom, а также знать основы теории баз данных и языка SQL.
Лекция 1. Концепция хранилища данных
Определение и свойства хранилища данных. Детализированные и агрегированные данные. Метаданные. Виды метаданных. Краткий обзор моделей хранилищ данных.
Лекция 2. Многомерная модель данных
Многомерное представление данных. Базовые понятия многомерной модели. Структура многомерного куба. Работа с измерениями.
Лекция 3. Многомерные и реляционные хранилища данных
Агрегаты и нерегламентированные запросы. Многомерные хранилища (MOLAP). Реляционные хранилища (ROLAP). Схемы «звезда», «созвездие» и «снежинка». Сравнение MOLAP и ROLAP. Гибридная (HOLAP) модель.
Что такое витрины данных? Пример централизованного ХД с витринами данных. Проектирование витрины данных.
Лекция 5. Загрузка данных в хранилище
Поддержка историчности. Медленно меняющиеся измерения и их типы. Неполная загрузка данных. Многопоточная организация процесса загрузки данных. Постзагрузочные операции.
История появления. Основы концепции и определение Data Vault. Основные компоненты модели Data Vault. Обобщенная схема хранилища данных. Трехуровневая архитектура. Преимущества и недостатки Data Vault.
25 вопросов с выбором вариантов ответа.
Занятие 1. Знакомство с Vertica
Обзор Vertica. Что такое Vertica. Строковые и колончатые БД. Индексы и проекции. Взаимодействие с другим инструментами. Виртуальная машина. Порядок скачивания. Порядок установки. Импорт конфигурации. Запуск виртуальной машины. Vertica Management Console.
Занятие 2. Средство администрирования базы данных DBeaver
Обзор DBeaver. Проектирование БД. Что такое DBeaver. Преимущества. Поддерживаемые БД. Порядок скачивания. Порядок установки.
Занятие 3. Создание подключения к Vertica в Loginom
Подключение к Vertica из других приложений. Порядок скачивания драйверов. Установка драйвера ODBC. Установка драйвера JDBC. Создание подключения из DBeaver. Создание подключения из Loginom.
Занятие 1. Проектирование хранилища - схема "Снежинка"
Схема "снежинка". Подготовка к проектированию. Наборы данных. Описание полей. Выбор таблицы фактов. Выбор таблиц измерений. Итоговая схема хранилища. Создание БД в DBeaver. Добавление пустой базы в Vertica Management Console. Создание подключения к базе. Создание таблиц. Добавление полей. Типы данных. Выбор ключей.
Занятие 2. Наполнение хранилища
Импорт данных. Настройка полей. Демонстрация наборов. Регистрация драйвера. Настройка подключения в Loginom. Добавление узла подключения. Настройка экспорта. Узел экспорта в БД. Необходимые настройки. Прочие настройки. Порядок выполнения.
Занятие 3. Создание семантического слоя. Получение срезов
Определение семантического слоя. Семантический слой для аналитика. Способы хранения метаданных. Получение срезов. Компонент "Метаданные". Компонент "Все продажи". Компонент "Каталог товаров". Импорт без использования фильтра. Доступные фильтры. Импорт с использованием фильтра. Проектирование компонентов.
Занятие 1. Проектирование хранилища - схема "Data Vault"
Схема “Data Vault”. Поддержка историчности. Обзор данных. Выбор бизнес-ключей. Таблицы-концентраторы. Ссылки. Спутники. Итоговая логическая схема. Создание БД в DBeaver.
Занятие 2. Наполнение хранилища
Импорт данных. Добавление технических метаданных. Настройка подключения. Экспорт: концентраторы. Экспорт: ссылки. Экспорт: спутники. Загрузка новых данных. Обновление данных. Добавление новой сущности.
Занятие 3. Создание семантического слоя. Получение срезов
Компонент "Метаданные". Компонент "Каталог товаров". Компонент "Все продажи". Импорт без использования фильтра. Доступные фильтры. Импорт с использованием фильтра. Проектирование компонентов.
2 задачи.
Темы: получение срезов из хранилища.
5 вопросов (вписать вариант ответа в поле).
Для того, чтобы оценить возможности промышленного использования платформы в целях Data Mining и аналитики, я решил пройти стандартный пакет обучающих курсов Loginom. Был приятно удивлен обилием материала и его четко структурированным изложением. Материал легко усваивается, однако сдача тестов показала, что не всё так просто.
Подробнее по ссылке.
Стоит отдать должное авторам курсов. Даже если вы никогда ранее не были знакомы с бизнес-аналитикой и не представляете с чего начать, то в подготовительном модуле можно узнать/вспомнить основы информатики, статистики, алгоритмизации и баз данных. Только освоив необходимый «багаж», вы приступаете к изучению основных курсов.
Подробнее по ссылке.
Нашим банком были выбраны курсы тарифа «Enterprise» с упором на изучение кредитного скоринга. При их прохождении сотрудники подразделения открыли для себя целый ряд новых инструментов, навыков и техник для использования в своей профессиональной деятельности.
Подробнее по ссылке.
