academy@academyit.ru
DQ
Работа с данными, аналитика и СУБД
40 ак.часов
Data Quality: управление и наблюдаемость данных
70000 ₽
Онлайн класс. Удаленное подключение к очным курсам.
Для обучения достаточно иметь доступ в Интернет.
Время онлайн трансляции курса устанавливается в зависимости от города проведения очного обучения. Предусмотрено предоставление записей слушателям в отдаленных часовых поясах.
-
О КУРСЕ
Управление качеством данные активно набирает популярность в России. Если крупные предприятия уже давно осознали важность этого направления, то средний бизнес стал уделять ему внимание совсем недавно — особенно в условиях высокой турбулентности рынка.
Мы разработали уникальную программу, чтобы закрыть очень узкую, но критически важную потребность бизнеса.
Только на ближайший поток действует скидка 50%. Воспользуйтесь шансом выгодно обучить сотрудников, работающих с данными, и вывести компанию на новый уровень. После прохождения курса слушатели смогут:
- разработать и внедрить корпоративную политику управления качеством данных;
- подобрать и запустить программные решения, которые обеспечат её соблюдение.
Курс дает комплексный подход к повышению надежности корпоративных данных. Участники курса научатся выявлять проблемы качества данных с помощью профилирования и метрик, освоят методы автоматизированной очистки и стандартизации, внедрят мониторинг и построят процессы своевременного реагирования на инциденты. В программу интегрированы практические инструменты: Great Expectations, SodaCL и OpenMetadata, что позволит быстро перейти от теории к реальному применению полученных знаний.
Итоговый проект курса — готовый к внедрению пайплайн управления качеством данных, включающий расчет ROI и разработку политик Data Governance. После обучения участники смогут самостоятельно измерять, контролировать и улучшать качество данных в своих организациях, предотвращать бизнес-риски, связанные с плохими данными, и эффективно обосновывать руководству необходимость инвестиций в качество данных.
Технологии и инструменты, которыми будете владеть
Метрики и KPI
Accuracy
Timeliness / Currency
Data Governance
Cleansing
Data Observability
Машинное обучение для DQ
OpenMetadata
Чему вы научитесь
использовать дашборды
рассчитывать и обосновывать ROI
своевременно реагировать на инциденты
выполнять очистку и стандартизацию данных
автоматизировать процесс стандартизации
настроить постоянный мониторинг качества данных
выявлять и измерять проблемы качества данных
самостоятельно проводить профилирование данных
выявлять и устранять проблемы с качеством данных
формулировать политики и процессы Data Governance
разработать и внедрить полноценный рабочий DQ-пайплайн
использовать метрики / инструменты (Great Expectations, SodaCL)
Целевая аудитория
Аналитики Data Governance
Разработчики Data Governance
Разработчики ETL
-
Получаемый документ:
-
Содержание программы
Введение и Основы
- Ценность данных как актива.
- Качество Данных (DQ) - определения, ключевые понятия.
- Бизнес-последствия плохого качества данных
- Обзор процесса управления DQ
Модуль 1: Измерения (Dimensions) Качества Данных
- Глубокий разбор ключевых измерений:
- Точность (Accuracy): Соответствие реальности.
- Полнота (Completeness): Отсутствие пропусков.
- Своевременность (Timeliness / Currency): Актуальность на момент использования.
- Непротиворечивость (Consistency): Согласованность между системами и наборами.
- Уникальность (Uniqueness): Отсутствие дубликатов сущностей.
- Валидность (Validity): Соответствие формату и бизнес-правилам.
- Целостность (Integrity): Соблюдение ссылочной целостности (Foreign Keys).
- Доступность (Accessibility) и Понятность (Interpretability).
- Относительность измерений: Как приоритеты DQ зависят от контекста использования данных.
- Практика: Разбор примеров проблем DQ
Модуль 2: Профилирование и Оценка Данных
- Профилирование данных (Data Profiling): Задачи, методы, типы анализа
- Выявление аномалий
- Инструменты профилирования
- Метрики и KPI для DQ
- Практика: Профилирование предоставленного набора данных. Выявление основных проблем.
Модуль 3: Очистка (Cleansing) и Стандартизация Данных
- Техники очистки
- Стандартизация данных
- Инструменты очистки
- Разработка правил очистки
- Практика: Применение техник очистки
Модуль 4: Мониторинг и Управление Процессами DQ
- Постоянный мониторинг DQ
- Автоматизация проверок DQ
- Создание и управление правилами DQ
- Рабочие процессы (Workflow) для обработки инцидентов DQ
- Практика: Разработка плана мониторинга для критичного набора данных. Создание дашборда с ключевыми метриками DQ.
Модуль 5: Организационные Аспекты
- Ключевые роли
- Data Governance и DQ
- Внедрение культуры качества данных
- Разработка политики и стратегии DQ. Дорожная карта улучшения DQ.
- Практика: Разработка фрагмента политики DQ.
Модуль 6: Продвинутые Темы и Тренды
- Data Observability
- Машинное обучение для DQ
- Streaming DQ
- Регуляторные требования
- Практика: Обсуждение влияния регуляторики.
Модуль 7: Инструменты и Технологии (Обзор)
- Категории инструментов DQ
- Критерии выбора инструмента
Модуль 8: Планирование
- Разработка плана действий
- Измерение ROI от улучшений DQ
- Будущее управления качеством данных
- Резюме ключевых выводов курса.
- Практика: Разработка концепции решения DQ
-
Предварительные требования:
- Владение SQL на уровне запросов средней сложности
- Базовое знание Python (для анализа и обработки данных)
- Опыт работы с корпоративными данными (базы данных, хранилища данных, BI-системы)
