Администрирование кластера Hadoop
Перейти на старую версию сайта +7 (495) 150 96 00 academy@it.ru Войти

В корзине ничего нет.

Перейти на старую версию сайта
Войти

В корзине ничего нет.

Академия АйТи Онлайн
#
#HADM # Управление данными (BigData, Machine learning) # 5 дней/40 часов

Администрирование кластера Hadoop


Физлицам 88000 ₽
Юрлицам 90000 ₽
Очное обучение. Курсы проводятся во всех региональных учебных центрах Академии АйТи или на базе заказчика.

Забронировать курс

К сожалению, в этом курсе нет ближайших дат для бронирования, но вы можете запросить информацию.


Целевая аудитория

#

Разработчики Hadoop

#

Системные архитекторы

#

Системные администраторы

Расписание

1

Введение в Big Data


  • Что такое BigData. Понимание проблемы Big Data
  • Эволюция систем распределенных вычислений Hadoop
  • Принципы формирования Data Lake и pipelines

2

Архитектура Apache Hadoop


  • Hadoop сервисы и основные компоненты. Name node. DataNode.
  • YARN сервис-планировщик
  • Демоны HDFS
  • Отказоустойчивость и высокая доступность

3

Hadoop Distributed File System


  • Архитектура HDFS. Блоки HDFS.
  • Основные команды работы с HDFS.
  • Операции чтения и записи, назначения HDFS. 
  • Дисковые квоты. Поддержка компрессии
  • Основные форматы хранения данных TXT, AVRO, ORC, Parquet, Sequence файлы
  • Импорт (загрузка) данных на HDFS
  • Организация Tiering для хранения данных
  • Архивное хранение HDFS
  • Локальное чтение и распределенное кэширование

4

Map Reduce


  • Ведение в MapReduce. Компоненты MapReduce. Работа программ MapReduce. YARNMapReduce v2/3
  • Ограничения и параметры MapReduce и YARN
  • Управление запуском пользовательских задач (jobs) под MapReduce

5

Дизайн кластера Hadoop


  • Сравнение дистрибутивов и версий Hadoop 2/3 (Cloudera Distributed Hadoop CDP, Horton Works Data Platform, Arenadata Hadoop): различия и ограничения
  • Требования программного и аппаратного обеспечения
  • Планирование кластера
  • Масштабирование кластера Hadoop. Отказоустойчивость Hadoop
  • Federated Name Node. Hadoop в облаке.
  • Сравнение Cloud решений для Hadoop. Amazon EMR
  • Интеграция с другими решениями: streaming (Data Flow), NoSQL.

6

Установка кластера CDP


  • Оптимизация OS для узлов кластера
  • Установка Hadoop-кластера с использованием Cloudera Data Platform Private Cloud
  • Выбор начальной конфигурации
  • Начальная конфигурация HDFS и MapReduce
  • Файлы логов и конфигураций
  • Установка Hadoop клиентов
  • Установка Hadoop кластера в облаке
  • Автоматические варианты установки
  • Установка и настройка кластера Hadoop в изолированном окружении (offline).

7

Операции обслуживания кластера Hadoop


  • Дисковая подсистема
  • Квоты
  • Остановка, запуск, перезапуск (Graceful Shutdown)
  • Управление узлами
  • Управление обновлениями и создание локального репозитория

8

Оптимизация и управление ресурсами


  • Поиск узких мест
  • Производительность. Файловая система. Data Node и Data layout и партиционирование, bucketing
  • Планировщики: FIFO scheduler. Планировщик емкости (Capacity Scheduler). Гранулярное управление ресурсами (Fair Scheduler). Защита очередей и доминантное управление ресурсами DRF.
  • Особенности управления ресурсами для разных дистрибутивов

9

Управление кластером Hadoop с использованием Cloudera Manager


  • Основные операции и задачи ClouderaManager
  • Мониторинг с Cloudera Manager/Grafana
  • Диагностика и разрешение проблем с Cloudera Manager
  • Обзор Apache Zookeeper
  • Cloudera Manager API

10

Безопасность Apache Hadoop


  • Безопасность по умолчанию
  • Многопользовательский режим
  • Аутентификация и авторизация с использованием Active Directory(Microsoft), REALM MIT/FreeIPA: Kerberos, keytabs, principals. Установка и конфигурирование Kerberos в Hadoop
  • Обзор возможностей компонент безопасности Apache Ranger, Apache Knox, Apache Atlas
  • Резервное копирование и аварийное восстановление
  • Репликация данных и snapshoting. Конфигурирование высокой доступности NameNode (HA)
  • Best practices Cloudera/ Arenadata

11

Мониторинг Apache Hadoop


  • Встроенные средства мониторинга Cloudera Manager
  • Логи сервисов и компонент

12

Troubleshooting


  • Data Node
  • Name Node
  • Восстановление Name Node

13

Инструментарий Apache Hadoop экосистемы


  • Графический интерфейс сервиса HUE/Zeppelin 
  • Основы  Apache Zookeeper
  • Введение в Hadoop SQL: Apache Hive, понятие Hive-таблицы, установка Hive
  • Использование Apache Sqoop – установка и выполнение базовых операций
  • Базовые операции Apache Flume – установка и выполнение базовых операций 
  • Обзор и назначение компонент: Apache Spark, Apache Solr, Cloudera Impala, Apache HBase, Apache Phoenix, Apache NiFi, Apache Kafka, Apache Oozie

14

Практические занятия


  • Ручная установка 3х-узлового кластера Hadoop версии 3 с дистрибутива Cloudera Data Platform (CDP) Private Cloud  в облаке Amazon Web Services с использованием Cloudera Manager
  • Базовые операции с кластером Hadoop и файловые операции HDFS.
  • Управление ресурсами и запуском задач с использованием YARN, Map Reduce/Tez. 
  • Управление кластером с использованием Cloudera Manager (развертывание сервисов, репликация, мониторинг, alerting и т.д.)
  • Конфигурирование системы аутентификации Kerberos для кластера Hadoop под управление Cloudera Manager
  • Установка и выполнение базовых операций в Apache Hive, Apache Sqoop, Apache Flume
  • Выполнение задач в веб-интерфейсе HUE/Apache Zeppelin
  • Мониторинг кластера Hadoop с использованием Zabbix (опционально)
  • HA высокая доступность (High Availablility) NameNode и YARN (ресурс-менеджер) 




0 отзывов

Об этом курсе отзывов пока нет. Будьте первым.






#
#

Академия АйТи

Ведущий консалтинговый центр получения дополнительного профессионального образования

Войдите в систему, чтобы получить все возможности платформы и доступ к образовательным курсам
Не запоминать
Забыли пароль?

Забыли пароль?

Введите e-mail, указанный при регистрации, пришлем вам инструкцию по восстановлению пароля.


Нажимая «Зарегистрироваться» вы соглашаетесь с политикой обработки персональных данных

Нажимая «Зарегистрироваться» вы соглашаетесь с политикой обработки персональных данных
15%
Шаг 1 из 2 Заполните данные
Далее Назад Зарегистрироваться