Перейти на главную | Список курсов | Расписание | Заявка на курс | Cisco course on-line registration
Ищете что-то конкретное? Контакты ↓
Звоните +7 727 352 73 73 и +7 727 352 83 83 еще контакты или подайте заявку на курс

Основные направления ↓↑

Наши контакты

☎ +7 (727) 352 73 73
☎ +7 (727) 352 83 83
☎ +7 (727) 352 71 58
☎ +7 (727) 352 71 59
asemciscotrain.kz
infociscotrain.kz
raushanciscotrain.kz
Гоголя 39, каб. 301
Казахстан, г. Алматы, ул. Казыбек би 22 офис 222, 050010

Администрирование Hadoop кластера / Administering Hadoop

32
29 января - 01 февраля

Hadoop является наиболее популярной открытой платформой для распределенных вычислений. Курс содержит расширенную информацию по планированию и развертыванию распределенных вычислительных кластеров на базе Hadoop, мониторингу и оптимизации производительности системы, резервному  копированию и аварийному восстановлению узлов кластера и отдельных компонент, настройки безопасности системы на базе Hadoop. Данный курс включает необходимую теоретическую подготовку и расширенные практические примеры развертывания и администрирования Hadoop кластера, в том числе в облачной инфраструктуре. Практические занятия выполняются в кластерной среде AWS с использованием программного обеспечения Cloudera Manager и подготавливают слушателей к сдаче сертификационного экзамена Cloudera Certified Administrator for Apache Hadoop (CCAH).

Аудитория

Системные администраторы, системные архитекторы, разработчики Hadoop

Предварительная подготовка

·         Начальный опыт работы в Unix

Содержание курса

Программа

1.       Введение в Big Data

Что такое Big Data. Понимание проблемы Big Data

 

2.       Hadoop Distribited File System

Блоки HDFS. Основные команды работы с HDFS. Операции чтения и записи, назначения HDFS. Архитектура HDFS.

 

3.       Архитектура Apache Hadoop

Отказоустойчивость Hadoop. Name node. Архитектура MRv1. YARN. Map reduce framework. Hadoop daemons. 

4.       Дизайн кластера Hadoop

Дистрибутивы и версии Hadoop: различия и ограничения. Требования программного и аппаратного обеспечения. Вопросы масштабирования. Планирование кластера. Оптимизация уровня ядра. Hadoop в облаке.

 

5.       Установка кластера

Установка Hadoop кластера. Выбор начальной конфигурации. Начальная конфигурация HDFS и MapReduce. Файлы логов. Установка Hadoop клиентов. Установка Hadoop кластера в облаке. Выбор вендора и хостинга. Установка с использованием виртуального образа. Amazon EMR.

 

6.       MapReduce

Ведение в MapReduce. Компоненты MapReduce. Работа программы MapReduce. YARN MapReduce v2. Восстановление после сбоя. JobTracker веб интерфейс.

 

7.       Операции обслуживания кластера Hadoop

Дисковая подсистема. Квоты. Остановка, запуск, перезапуск. Управление узлами. Сетевая топология. Настройка высокой доступности кластера и обновлений. Импорт(загрузка) данных на HDFS.

8.       Управление кластером Hadoop с использованием Cloudera Manager

Установка Cloudera Manager. Основные операции и задачи Cloudera Manager. Мониторинг с Cloudera Manager. Диагностика и разрешение проблем с Cloudera Manager.

 

9.       Безопасность при работе с Big Data

Многопользовательский режим. Аутентификация и авторизация. Kerberos, keytabs, principals. Установка и конфигурирование Kerberous в Hadoop.

 

10.   Мониторинг

Nagios. Gangila. JMX. Logging. Clustering.

 

11.   Оптимизация и управление ресурсами

Поиск узких мест. Производительность. Файловая система. Worker Node. Сетевая производительность. FIFO scheduler. Планировщик емкости (Capacity scheduler). Гранулярное управление ресурсами (Fair scheduler). Защита очередей и доминантное управление ресурсами.

 

12.   Troubleshooting

Data Node. Task Tracker. Job Tracker. Name Node.

 

13.   Резервное копирование (Backup)

Резервное копирование и аварийное восстановление. Best practices.

 

14.   Инструментарий Hadoop экосистемы

Apache Pig - установка и функционал. Введение в Apache Hive, понятие Hive таблицы, установка Hive. Apache Scoop - установка и функционал. Apache Flume - установка и функционал.

 Подходит? Подать заявку на этот курс