Базовый

Бизнес-аналитика и наука о данных

Стартовый курс по бизнес-аналитике - теория и практика. Знакомство с анализом данных, BI, Knowledge Discovery и Data Mining, современной терминологией Big Data, Deep Learning и Data Science.

Изучаются методы интеграции данных, базовые алгоритмы манипуляции с выборками, а также методы многомерной визуализации на основе OLAP-кубов. Полученные знания позволяют создавать готовые решения по подготовке данных и аналитической отчетности на базе Loginom.

Учебные примеры и мастер-классы подобраны из трех областей: ритейл, банкинг, телекоммуникации.

Курс включает в себя все модули электронного курса «Основы работы в Loginom».

Программа курса

Введение в бизнес-аналитику и науку о данных

Тип: лекции

Лекция 1. Анализ данных

Термин "анализ данных". Задачи прикладной математики. Вычислительная математика. Идентификация моделей. Анализ данных. Разведочный анализ Дж. Тьюки. Этапы РАД. Процесс анализа данных по Тьюки. Современное понятие анализа данных.

Лекция 2. Бизнес-аналитика

Развитие концепции Тьюки. Пересмотр технологий анализа данных. Особенности задач нового типа. Термин "бизнес-аналитика". Бизнес-аналитика: принципы анализа. Термины: гипотеза, эксперт, аналитик, руководитель проекта. Методы решения задач. Извлечение и визуализация данных. Моделирование, этапы моделирования. Методология CRISP-DM. Модель процесса. Преимущества методологии.

Лекция 3. Структурированные данные

Формы представления данных: структурированные , неструктурированные, слабоструктурированные. Представления данных: упорядоченные, неупорядоченные, транзакционные. Характер данных: дискретный, непрерывный. Типы данных: числовой, строковый (символьный), номинальные переменные, ординальные переменные, дата/время, логический.

Лекция 4. Подготовка данных к анализу

Особенности бизнес-данных. Формализация данных. Методы сбора данных. Информативность данных. Требования к данным.

Лекция 5. Технологии бизнес-аналитики

Обнаружение данных - Knowledge Discovery. Схема шагов KDD. Data Mining. Значение и перевод термина. Модели и задачи Data Mining. Ассоциация. Кластеризация. Классификация и регрессия. Описательные и предсказательные модели. Связь Data Mining с другими областями. Машинное обучение , глубокое обучение (определения). Причины популярности Data Mining

Лекция 6. Прикладные задачи бизнес-аналитики

Где применяется бизнес-аналитика? Традиционный BI. Описательное моделирование. Предсказательное моделирование. Задачи бизнес-аналитики в банках. Консолидированная отчетность. Кредитный скоринг. Скоринговая модель, карта. Виды кредитного скоринга. Управление инкассациями. Кредитный конвейер. Сегментация заемщиков. Задачи бизнес-аналитики в торговле. Шаблоны покупок. Скоринги откликов. Управление маркетинговыми кампаниями. Оптимизация запасов. Задачи бизнес-аналитики в телекоме. Скоринг удержания клиентов. Кривые выживания.

Лекция 7. Аналитические платформы

Инструменты бизнес-аналитики - вариант классификации. Инструменты традиционного BI. Настольные пакеты и библиотеки. Аналитические платформы. Определение. Типовые компоненты и их взаимосвязь. Языки визуального моделирования. Облачные сервисы.

Лекция 8. Большие данные. Наука о данных

Big Data. Предпосылки появления. Термин и его значение. Характеристика технологий Big Data. Концепция 4 "V". Инструменты распределенных вычислений. MapReduce. Hadoop. NoSQL. Роль и место Big Data в анализе данных. Data Science – краткая история термина. Специалист по данным и бизнес-аналитик: отличия. Является ли Data Science наукой?

Самопроверочный тренажер

16 вопросов с выбором вариантов ответа.

Основы работы в Loginom I

Тип: пошаговая симуляция

Занятие 1. Общие сведения

Инструменты для бизнес-аналитики. Платформа Loginom: общая характеристика. Редакции платформы. Лицензирование. Категории пользователей. Установка Loginom настольных редакций. Запуск Loginom Desktop и Loginom Studio. Рекомендуемые браузеры. Элементы симуляции. Вызов справки.

Занятие 2. Начало работы в Loginom

Элементы среды приложения-клиента. Пакет. Структура пакета. Навигация в приложении. Модули и ссылки. Сценарий как поток данных. Структура модуля. Дерево пакетов. Работа с пакетом (открытие, сохранение, быстрый доступ). Компонент и узел. Объекты, с которыми работает узел: набор данных, переменные, подключения. Понятие порта. Основные команды узла. Добавление, удаление и связывание узлов. Панель компонентов. Панель процессов. Понятие объекта «переменная». Переменные сценария и их классификация. Настройка порта переменных сценария. Добавление и использование переменных сценария в узлах.

Занятие 3. Компонент и узел в Loginom

Компонент и узел: определения, отличия. Структура узла сценария. Порты и их виды. Графическая семантика. Основные действия с портом (добавление, удаление, редактирование метки). Основные действия с узлом (переименование, комментарий, выполнение, обучение, активация, клонирование, принудительное удаление). Основные действия с группой узлов (упорядочивание, выравнивание, удаление, навигация, карта сценария). Узел-ссылка и кейсы его применения. Свойства узла. Модификаторы доступа. Быстрый просмотр.

Занятие 4. Первый сценарий

Пример сценария. Компоненты импорта в Loginom. Формат файла LGD. Понятие файлового хранилища и работа с ним (для серверных версий). Импорт из txt, основные настройки, относительные пути к файлам. Алгоритм распознавания типа поля. Конвертация типов.. Компоненты Фильтр строк и Сортировка. Обработка в фильтре пустых значений. Основные условия фильтрации. Экспорт в файл.

Занятие 5. Настройка портов. Автосинхронизация

Типы и виды данных в Loginom. Настройка и перенастройка узла. Настройка входного порта. Настройка соответствий между столбцами внутри узла (мэппинг полей). Алгоритм мэппинга. Автоматическое связывание. Упорядочивание связей. Команда синхронизации и понятие автосинхронизации. Простой сценарий импорта и экспорта с включенной автосинхронизацией. Потерянные связи. Обязательные и необязательные столбцы. Основные кейсы применения автосинхронизации. Компонент Параметры полей. Проектирование без данных, примеры.

Занятие 6. Компонент «Калькулятор»

Компонент Калькулятор. Конструктор выражений, правила составления выражений. Промежуточные поля, кэширование. Настройка визуализаторов. Визуализатор «Таблица».

Контрольное задание

3 задачи (вписать вариант ответа в поле). Темы: работа с импортом из txt, фильтром строк и калькулятором.

Самопроверочный тренажер

25 вопросов с выбором вариантов ответа.

Основы работы в Loginom II

Тип: пошаговая симуляция

Занятие 1. Переменные и параметризация

Переменные сценария и их виды. Приоритет переменных. Входные переменные узлов. Управляющие переменные и их настройка. Порт управляющих переменных. Компоненты для работы с переменными. Синхронизация в переменных.

Занятие 2. Компоненты "Условие" и "Замена"

Компонент "Условие". Назначение компонента и основные кейсы использования. Настройка компонента на примере. Особенности работы. Режим отладки. Компонент "Замена". Логика работы. Таблицы замен. Режимы замен. Допустимые интервалы замен.

Занятие 3. Подмодели

Компонент "Условие". Назначение компонента и основные кейсы использования. Настройка компонента на примере. Особенности работы. Режим отладки. Компонент "Замена". Логика работы. Таблицы замен. Режимы замен. Допустимые интервалы замен.

Занятие 4. Компоненты "Выполнение узла" и "Цикл"

Компонент "Выполнение узла". Настройка компонента по шагам на примере. Логика работы узла. Отличие от узла-ссылки. Компонент "Цикл2. Общие сведения. Цикл с заданным количеством итераций. Цикл с постусловием. Групповая обработка: повтор расчета на всех товарных группах. Примеры. Когда не следует использовать цикл.

Занятие 5. Производные компоненты

Понятие базового и производного узла. Наследование в Loginom. Отличия от клонирования. Обновление и восстановление конфигурации производного узла. Переопределение узлов. Основные кейсы использования наследования. Простой пример наследования с последующим изменением в базовом узле. Рассинхронизация узлов. Пересоздание базового узла. Публикация производного компонента. Области видимости. Подключение внешних библиотек (на примере Loginom Main Library). Примеры использования компонентов из библиотеки Loginom Main Library.

Контрольное задание

2 задачи (вписать вариант ответа в поле). Темы: производные компоненты, наследование.

Занятие 6. Пример создания законченного пакета

Постановка задачи - очистка чеков от возвратов. Проектирование подмодели. Реализация подмодели. Публикация компонента.

Занятие 7. Импорт из промышленных источников данных

Импорт из файлов Excel. Импорт из БД (на примере Firebird). Простой импорт (без SQL). Импорт с помощью SQL-запроса. Переменные в запросах. Чтение значения переменной из БД.

Самопроверочный тренажер

25 вопросов с выбором вариантов ответа.

Подготовка данных

Тип: лекции

Лекция 1. Сбор и интеграция данных

Понятие об интеграции данных. Понятие об источнике данных. Интеграция данных: краткая история проблемы. Два подхода к интеграции данных: семантический, синтаксический. Уровни интеграции данных: физический, логический. Способы интеграции данных: виртуальный, материализованный. Задачи, решаемые в процессе интеграции данных.

Лекция 2. Интеграция данных и бизнес-аналитика

Быстрые и медленные данные. Системы оперативного анализа (OLTP). Системы поддержки принятия решений (СППР). Отличия между СППР и OLTP-системами

Лекция 3. Виды источников данных

Типы корпоративных данных: фактографические, нормативно-справочные, внешние, внутренние. Метаданные. Первичные источники данных. Способы сбора первичных данных: Опрос, наблюдение, эксперимент, имитация. Виды первичных источников: транзакционные системы и базы данных, файлы, документы. Облачные источники. Унаследованные системы. Миграция данных. Вторичные источники данных: область (зона) временного хранения, оперативный склад данных, хранилище данных, витрина данных.

Лекция 4. Методы интеграции данных

Методы интеграции. Интеграция "точка-точка". Консолидация.Федерализация. Сервисный подход. Преимущества и недостатки каждого метода.

Лекция 5. Компоненты корпоративной информационной фабрики

Информационная экосистема компании. Корпоративная информационная фабрика (КИФ) – определение. Структура (уровни). Компоненты КИФ. Репозитарий НСИ. Основные данные компании (мастер-данные). Оперативный склад данных. Зона временного хранения.

Лекция 6. Процессы корпоративной информационной фабрики

Качество данных - Data Quality. Качество и медатанные. Обеспечение качества данных. Очистка данных. Уровни очистки данных. Очистка данных в ETL. Очистка в консолидированных источниках. Очистка данных в бизнес-приложениях. Процесс SRD.

Лекция 7. Базовые архитектуры корпоративной информационной фабрики

Централизованное ХД с ETL. Централизованное ХД с ОСД. Параллельный вариант. Последовательный вариант. Независимый вариант. Централизованное ХД с витринами. Независимые витрины данных. Только оперативный склад данных.

Лекция 8. Системы управления мастер-данными

Понятие MDM-системы. Роль и место MDM-системы в структуре КИФ. Происхождение мастер-данных и НСИ. Архитектуры MDM-систем: консолидированные, транзакционные, регистровые.Свойства данных в MDM-системе.

Лекция 9. Преобразование данных. Часть 1

ETL-операции. Основные методы преобразования данных (обзор). Квантование. Цель квантования. Методы квантования: равномерное, неравномерное, плиточное, на основе СКО. Выбор числа интервалов. Пример. Группировка.

Лекция 9. Преобразование данных. Часть 2

Обогащение данных. Слияние данных: внутреннее, левое, правое, полное соединение и разность. Объединение. Полное внешнее соединение. Простое соединение. Объединение. Преобразование упорядоченных данных. Скользящее окно. Операции с датой и временем. Транспонирование: прямое, обратное.

Самопроверочный тренажер

21 вопрос с выбором вариантов ответа.

Подготовка данных в Loginom

Тип: пошаговая симуляция

Занятие 1. Компоненты "Группировка" и "Дата и время"

Пример группировки (продажи). Назначение полей и автосинхронизация в группировке. Преобразование даты и времени. Строка форматирования даты и времени. Форматирование даты по ISO.

Занятие 2. Компоненты для связи нескольких наборов данных

Компоненты «Слияние», «Соединение», «Дополнение данных», «Объединение». Слияние: внутреннее, левое, правое, полное соединение, разность. Простое соединение.

Занятие 3. Компоненты "Квантование" и "Скользящее окно"

Методы квантования: ширина, количество, плитка, коэффициенты СКО. Шаблонизация интервалов. Поля выходных наборов данных. Пересчет границ. Компонент «Скользящее окно» - на примере (календарь).

Занятие 4. Компоненты "Кросс-таблица" и "Свертка столбцов"

Скользящие уникальные значения. Свертка столбцов: решение обратной задачи.

Контрольное задание

3 задачи (вписать варианты ответов в поле). Темы: подготовка данных в Loginom, ETL-операции.

Визуализация данных

Тип: лекции

Лекция 1. Введение в визуализацию

Визуализация и бизнес-аналитика. Цели и задачи визуализации. Визуализация источников данных. Визуализация данных, загруженных в аналитический контур. Визуализация данных и моделирование. Методы визуализации. Одномерные и многомерные. Общего назначения и специализированные. Группы методов визуализации: общего назначения, для оценки качества моделей, для интерпретации результатов анализа.

Лекция 2. Визуализаторы общего назначения. Часть 1

Таблицы. Кросс-таблица с подсвечивающимися ячейками. Графики. Диаграммы. Гистограммы.

Лекция 3. Визуализаторы общего назначения. Часть 2

Сложные визуализаторы общего назначения. OLAP-анализ. Суть анализа. Примеры OLAP-кубов. Манипуляции с измерениями. Детализация. Географические карты. Тепловые карты. Дерево-карта (плоское дерево). Диаграмма связей. Облако данных. Площадная диаграмма. График рассеивания.

Аналитическая отчетность и визуализация в Loginom

Тип: пошаговая симуляция

Занятие 1. Диаграмма

Построение графика. Область построения диаграммы. Добавление серии. Настройка серии. Настройка оси абсцисс. Панель инструментов. Общие настройки. Настройки серий. Настройки осей. Изменение масштаба. Навигация. Построение столбчатой диаграммы.

Занятие 2. Куб

Область построения и ее части. Добавление измерений и фактов, перестройка структуры куба. Фильтрация: по значениям измерений, по значениям фактов. Окно фильтрации фактов. Условия фильтрации. Настройка фактов. Форматирование фактов. Вычисляемые факты. Окно создания факта. Итоговые значения по измерениям. Приостановка автовычисления. Диаграмма куба.

Занятие 3. Статистика

Окно визуализатора, статистики по умолчанию. Гистограмма: варианты отображения, детализация. Доступность показателей. Настройка показателей. Транспонирование.

Контрольное задание

1 задача(вписать варианты ответов в поле). Темы: настройка визуализаторов, вычисляемые факты

 

pdf Программа курса

Список курсов →

Базовый
Основы работы в Loginom Основы работы в Loginom
2 модуля