Работа с данными, аналитика и СУБД
32 ак.часа
Аналитика больших данных для руководителей: как принимать решения на основе данных
-
Целевая аудитория
Топ-менеджеры, руководители направлений и собственники бизнеса, принимающие решения на уровне стратегии и бюджетов
Руководители ИТ- и аналитических подразделений, отвечающие за цифровую трансформацию и проекты по данным
Лидеры функциональных команд (финансы, маркетинг, операционный блок), которым требуется понимать возможности и ограничения аналитики для постановки задач экспертам по данным
-
О КУРСЕПрограмма подробно разбирает весь жизненный цикл работы с данными в компании. В первом блоке участники последовательно проходят стратегию-и-процессы: как оценить текущую зрелость, выстроить роли CDO и владельцев данных, составить дорожную карту и бизнес-кейс с конкретными KPI. Далее изучаются нормативные требования к персональным данным, практики классификации информации и методы минимизации правовых рисков.
Во втором блоке внимание сфокусировано на технологиях: выбор архитектуры (Data Lake / Lake House, SQL и NoSQL), процессы ETL / ELT и оркестрация пайплайнов, каталог и lineage, контроль качества данных, а также прикладной анализ — статистика, прогнозное моделирование, ML-библиотеки, визуализация через Tableau / Power BI и отечественные аналоги. Завершают курс практики DevOps / MLOps для вывода моделей в прод и методы расчёта экономической эффективности проектов, включая типовые ошибки и примеры успешных внедрений
-
Предварительные требования:
- Опыт управления проектами или подразделениями, влияющими на финансовые показатели компании
- Базовое владение офисной аналитикой (Excel/Google Sheets) и представление о структурированных данных
- Готовность обсуждать реальные задачи своей организации и оценивать экономический эффект инициатив по данным
Получаемый документ:
-
Содержание программы
Модуль 1. Стратегическое управление данными, его цели и задачи (1 час)
Модуль 2. Введение в Big Data (большие данные) (2 часа)
- Большие данные и цифровизация бизнеса
- Характеристики data-driven организации. Data-driven и data-informed организации: основные отличия
- Принятие data-driven решений и путь к ценности данных
- Базовые принципы и отличия от классических подходов к работе с данными
- Сравнительный анализ фрэймворков управления проектами анализа больших данных CRISP DM, Domino, TDSP, SEMMA, Enterprise Big Data Framework
- Отраслевая специфика аналитики больших данных. Общий разбор отраслевых сценариев
- Специфика работы с потоковыми и пакетными данными в Big Data
- Облачные технологии и большие данные
- Тенденции в подходах Big Data и что актуально на сегодняшний день
- Технологии Big Data в условиях импортозамещения
Модуль 3. Организационные инициативы в области управления и анализа данных (2 часа)
- Общие принципы организации управления данными
- Роли и специалисты в области анализа и управления данными
- Типы структурных подразделений по управлению данными
- Местоположение подразделения по управлению данными в структуре организации
- Организационная структура департамента управления данными
- Взаимодействие офиса CDO с бизнес-подразделениями
- Выявление и назначение владельцев данных
Модуль 4: Программа по развитию управления данными в организации (2 часа)
- Планирование программы
- Оценка зрелости организации в управлении данными
- Разработка целевой модели развития направления
- Построение и утверждение бизнес-кейса
- Задачи для построения прототипа
- Примеры задач для реализации прототипа
- Планирование дальнейших действий
Модуль 5. Правовые аспекты организации защиты данных (2 часа)
- Правовое регулирование в области защиты данных
- Права субъекта и обязанности оператора при обработке ПД
- Нарушители безопасности ПД
- Государственные регуляторы и их нормативно-правовая документация в области защиты ПД
- Осуществление проверки соблюдения правил в области защиты ПД и ответственность за их нарушение
- Средства выявления критичных данных и их защиты
Модуль 6: Технологии управления данными (4 часа)
- Первичный сбор и анализ данных: инструментарий и доступные методы.
- Описание данных и сбор метаданных.
- Data management и Data Governance.
- Бизнес-глоссарий:
› Функции бизнес-глоссария
› Поисковые механизмы
› Ведение концептуальной и логической моделей данных
› Жизненный цикл метаданных
› Супермаркет данных- Каталог данных
› Основные функции каталога данных
› Системы-источники для каталога данных
› Состав объектов на уровне физической модели
› Профилирование данных- Data lineage и impact analysis
- Связи моделей данных
- Выявление доменов данных
- Каталог каталогов
Модуль 7. Технологии хранения данных (3 часа)
- Data Lake
- Lake House
- Системы управления базами данных: реляционные (SQL) и нереляционные (NoSQL) базы данных
- Структурированные хранилища данных
- Песочницы
- Модели данных
Модуль 8. Технологии подготовки данных (4 часа)
- Подготовка данных: нормализация, очистка, выборки, обогащение, форматирование данных.
- Подготовка данных – как процесс формирования Data Pipeline:
› Процессы ETL и ELT
› Зонирование Data Lake и сегментирование данных- Назначение и сравнительная характеристика компонент экосистемы платформ потоковой обработки для хранения и обработки Big Data на примерах (отраслевые сценарии)
- Инструменты оркестрирования и автоматизации (Data Flow)
- Средства проверки и обеспечения качества данных
Модуль 9. Технологии анализа данных (8 часов)
- Методы анализа данных
› Описательный анализ: статистические методы, визуализация данных
› Диагностический анализ: выявление причинно-следственных связей
› Прогнозный анализ: регрессия, временные ряды, машинное обучение и искусственный интеллект
› Предписывающий анализ: оптимизация, моделирование сценариев- Инструменты и технологии для анализа данных
› Программное обеспечение для анализа данных: Python, R, SAS, SPSS и др.
› Библиотеки и фреймворки для машинного обучения: TensorFlow, PyTorch, Scikit-learn
› Платформы для работы с большими данными: Hadoop, Spark
- Визуализация данных
- Принципы эффективной визуализации данных.
- Инструменты для визуализации: Tableau, Power BI, SuperSet,
- Отечественные инструменты визуализации данных
- Примеры визуализации: графики, диаграммы, тепловые карты
- Применение анализа данных в различных областях
Модуль 10. Развертывание и эксплуатация решений в области данных (1 час)
- Планирование развертывания
- Мониторинг и обслуживание
- Методологии автоматизации и вывода продуктов в промышленную эксплуатацию – DevOps и MLOps
- Задачи финального обеспечения фаз жизненного цикла: цикличность reviews, обновления и вывод из эксплуатации
Модуль 11. Экономическая оценка «дата-центричных» проектов (2 часа)
- Показатели экономической эффективности проекта
- Принципы разработки бизнес-кэйсов для проектов анализа больших данных. Типовые ошибки при разработке бизнес-кэйсов. Разбор примеров бизнес-кэйсов
- Защита бизнес-кэйсов и бюджета проекта


