academy@academyit.ru
A-FLINK
Программные инструменты
24 ак.часа
Потоковая обработка данных с Apache Flink
55000 ₽
Онлайн класс. Удаленное подключение к очным курсам.
Для обучения достаточно иметь доступ в Интернет.
Время онлайн трансляции курса устанавливается в зависимости от города проведения очного обучения. Предусмотрено предоставление записей слушателям в отдаленных часовых поясах.
-
О КУРСЕКурс по Apache Flink обучает потоковой обработке данных в реальном времени, используя DataStream API и Flink SQL. Участники освоят создание и оптимизацию решений для обработки потоков данных, управление состоянием, обработку временных меток, агрегацию данных с окнами и интеграцию с внешними системами (Kafka, HDFS). Курс подходит для инженеров данных и разработчиков, работающих с большими данными и стремящихся улучшить навыки в области потоковой аналитики и реального времени
Чему вы научитесь
использовать в разработке Apache Flink
использовать Flink SQL и Table API
работать с экосистемой коннекторов
анализировать большие потоки данных
обеспечивать отказоустойчивость систем
разрабатывать приложения для аналитики в реальном времени
интегрировать в систему различные источники данных
Целевая аудитория
Разработчики Spark
Аналитики данных
Разработчики Hadoop
Разработчики и инженеры данных
Архитекторы данных
Разработчики ETL
-
Содержание курсаМодуль 1: Введение в потоковую обработку и Apache Flink
- Введение в обработку данных в реальном времени
- Архитектура потоковой обработки данных
- Зачем использовать Apache Flink: преимущества перед другими решениями (например, Apache Spark)
- Ключевые компоненты Flink и обзор экосистемы
Модуль 2: Основы DataStream API- Введение в DataStream API: работа с потоками данных
- Трансформации данных: фильтрация, агрегирование, трансформация
- Типы преобразований и их применение в реальных задачах
Модуль 3: Обработка состояний и управление состоянием- Стейтфул потоки: понятие состояний в потоках
- Как поддерживать состояние в Flink и решать проблемы с состоянием
- Реализация контроля состояний с использованием Managed States и Checkpoints
Модуль 4: Время событий и Watermarks- Работа с временем в потоках: Event Time vs Processing Time
- Что такое Watermarks и как их использовать для обработки задержанных данных
- Настройка обработок поздних элементов и их использование для повышения точности обработки
Модуль 5: Окна в потоковой аналитике- Использование окон в потоках: Tumbling, Sliding, Session Windows
- Применение окон для агрегации данных в реальных сценариях аналитики
Модуль 6: Подключения и экосистема коннекторов Flink- Введение в экосистему коннекторов Flink
- Подключение Flink с внешними системами: Kafka, HDFS, JDBC
Модуль 7: Введение в Flink SQL и Table API- Основы работы с Flink SQL: что это и как используется
- Табличный API в Flink: SQL-подход для обработки данных
Модуль 8: Примеры использования и паттерны приложений- Применение Flink для построения аналитических приложений в реальном времени
- Примеры использования Flink в event-driven приложениях, обработке данных и построении ETL-пайплайнов
-
Для успешного прохождения курса необходимы:
- основы Python или Java
- основы потоковой обработки данных
- знания о распределённых системах
- знания SQL: Полезны для работы с Flink SQL
-
По окончании курса слушатели смогут:
- проектировать и разрабатывать системы потоковой обработки данных с использованием Apache Flink
- использовать DataStream API для обработки и агрегации данных в реальном времени
- применять методы управления состоянием и обеспечения отказоустойчивости
- разрабатывать приложения для аналитики в реальном времени с использованием Flink SQL и Table API
- работать с экосистемой коннекторов для интеграции с различными источниками данных
