academy@academyit.ru
AD-S
Arenadata,
32 ак.часа
Эксплуатация Arenadata Streaming
-
О КУРСЕЧетырёхдневный практический курс по администрированию, установке и настройке безопасности кластеров Kafka и NiFi, который направлен на изучение ключевых аспектов работы с платформой Arenadata Streaming, включая принципы обеспечения безопасности потоковых данных. Курс поможет получить практические навыки по развертыванию, администрированию и пост-настройке безопасности кластера Arenadata Streaming
Специалисты информационной безопасности
Специалисты по Big Data
Системные администраторы
Модуль 1. «Обзор Arenadata Enterprise Data Platform и Arenadata Streaming»
Экосистема EDP: Arenadata Streaming, Arenadata DB, Arenadata QuickMarts, Arenadata Postgres, Arenadata Cluster Manager
Arenadata Streaming: основные компоненты и назначение (Kafka Broker, Kafka Connect Worker, Kafka-Manager, Kafka REST Proxy, ksqlDB Client, ksqlDB, Schema-Registry, NiFi Registry, NiFi Server, MiNiFi, ZooKeeper)
Arenadata Streaming Control
Arenadata Platform Security
Модуль 2. «Подготовка окружения и установка ADS: ZooKeeper, Apache Kafka, Apache NiFi»
Планирование кластера: типы узлов, профили нагрузки, аппаратное обеспечение, примеры кластеров
Настройка параметров окружения: подготовка к установке, настройка сети и DNS, монтирование и настройка файловой системы
Введение в Arenadata Cluster Manager: основные понятия, компоненты и возможности, развертывание
Установка и настройка ADS: планирование и первичная конфигурация кластера, мониторинг, установка Arenadata Streaming, конфигурирование сервисов (ZooKeeper, Apache Kafka, Apache NiFi)
Мониторинг ADS: архитектура кластера мониторинга. Мониторинг ADS: Kafka, NiFi. Встроенный мониторинг NiFi
Модуль 3. «Архитектура и инструменты Apache Kafka»
Базовые концепции и объекты Kafka: Consumers, Producers, Topics, Partitions, Segments, Replication, Offset, Messages, consumer groups, Brokers, Schemas
Topics Kafka
Основные операции (создание, управление, мониторинг, console CLI, partitions, replication, compaction, retension)
Гарантии надежности Kafka (доставка/потребление)
Producers Kafka:
Запись сообщений в Kafka, console Producer
Настройка Producers
Consumers Kafka:
Сonsumer groups, ребалансировка разделов
Настройка Consumers
Изменение параметров Topics, consumer groups, Partitions
Модуль 4. «Kafka Connect»
Основные понятия и инструменты
FileStream Connectors
CDC Debezium
Kafka ADB Connectors
Модуль 5. «Kafka REST Proxy, ksqlDB»
Основные возможности и примеры использования
Модуль 6. «Мультикластерные архитектуры»
Топология мультикластерной репликации
Настройка MirrorMaker, Mirror Connectors
Модуль 7. «Архитектура и инструменты Apache NiFi»
Обзор Apache NiFi: Графический интерфейс пользователя. Управление потоковой обработкой данных. Процессоры и их назначение
Создание, настройка и управление процессорами, процессорными группами
Flow Files и атрибуты
Подключение источников (File, Apache Kafka, СУБД (ADB))
FlowFile Repository, Content Repository, Provenance Repository: детальное изучение
Модуль 8. «Администрирование и эксплуатация Apache NiFi»
Инструменты мониторинга и администрирования
Горизонтальное масштабирование и отказоустойчивость NiFi
Управление репликацией и балансировкой нагрузки
Apache NiFi Registry версионность и поддержка production deployment (CI/CD).Модуль 8. «Администрирование и эксплуатация Apache NiFi»
Модуль 9. «Arenadata Streaming Control (ADS Control)»
Планирование кластера, настройка параметров окружения и установка, обзор UI
Основные операции ADS Control: управление и добавление коннекторов FileStreamSinkConnector, FileStreamSourceConnector, MirrorCheckpointConnector, MirrorHeartbeatConnector, MirrorSourceConnector, пользовательских, Debezium)
Модуль 10. «Управление информационной безопасностью кластера ADS»
Установка и настройка Arenadata Platform Security (ADPS): основные этапы установки, подготовка инфраструктуры, распределение компонент ADPS
Керберизация ADS/ADPS с MS Active Directory, Kerberos-аутентификация для web-интерфейсов компонентов. Настройка SPNEGO для браузеров
Настройка LDAP sync source для Ranger User synchronizer
Настройка LDAP/AD auth для Ranger Admin
Присоединение узлов к Active Directory (SSSD/realmd)
Настройка SSL ADS/ADPS: Сертификаты и Центры сертификации. Шифрование данных. Основные этапы настройки SSL
Настройка авторизации: Kafka (ACL, Apache Ranger Plugin), Apache NiFi (based authorizer, Apache Ranger Plugin).Модуль 10. «Управление информационной безопасностью кластера ADS»
-
Получаемый документ
Сертификат
-
Для успешного прохождения курса необходимы:
- Знания и навыки работы с командами и сервисами Linux-систем (командная строка, файловая система, текстовые редакторы vi, vim, nano и др.)
- Базовые знания SQL
-
После успешного окончания курса, слушатель будет знать:
◉ подготовку окружения и установку Arenadata Streaming, Arenadata Streaming Control и Arenadata Platform Security;
◉ архитектуру и инструменты Apache Kafka (Consumers, Producers, Topics, Kafka Connect, MirrorMaker, Kafka REST Proxy, ksqlDB);
◉ Arenadata Streaming Control (ADS Control);
◉ архитектуру, администрирование и эксплуатацию Apache NiFi;
◉ обеспечение информационной безопасности для кластера Arenadata Streaming с применением инструментов Arenadata Platform Security
Arenadata 
8 ак.часов 
