Перейти на главную | Список курсов | Расписание | Заявка на курс | Cisco course on-line registration

Наши контакты

☎ +7 747 716 2122 ☎ +7 777 241 7298
☎ +7 747 592 9208
asem@ciscotrain.kz info@ciscotrain.kz
gulzifa@ciscotrain.kz

Схема проезда

Гоголя 39, каб. 509
Казахстан, г. Алматы, ул. Гоголя 39, каб. 509, 050002

Администрирование Hadoop кластера / Administering Hadoop

40
25 февраля - 01 марта

Hadoop является наиболее популярной открытой платформой для распределенных вычислений. Курс содержит расширенную информацию по планированию и развертыванию распределенных вычислительных кластеров на базе Hadoop, мониторингу и оптимизации производительности системы, резервному  копированию и аварийному восстановлению узлов кластера и отдельных компонент, настройки безопасности системы на базе Hadoop. Данный курс включает необходимую теоретическую подготовку и расширенные практические примеры развертывания и администрирования Hadoop кластера, в том числе в облачной инфраструктуре. Практические занятия выполняются в кластерной среде AWS с использованием программного обеспечения Cloudera Manager и подготавливают слушателей к сдаче сертификационного экзамена Cloudera Certified Administrator for Apache Hadoop (CCAH).

Аудитория

Системные администраторы, системные архитекторы, разработчики Hadoop

Предварительная подготовка

·         Начальный опыт работы в Unix

Содержание курса

Программа

1.       Введение в Big Data

Что такое Big Data. Понимание проблемы Big Data

 

2.       Hadoop Distribited File System

Блоки HDFS. Основные команды работы с HDFS. Операции чтения и записи, назначения HDFS. Архитектура HDFS.

 

3.       Архитектура Apache Hadoop

Отказоустойчивость Hadoop. Name node. Архитектура MRv1. YARN. Map reduce framework. Hadoop daemons. 

4.       Дизайн кластера Hadoop

Дистрибутивы и версии Hadoop: различия и ограничения. Требования программного и аппаратного обеспечения. Вопросы масштабирования. Планирование кластера. Оптимизация уровня ядра. Hadoop в облаке.

 

5.       Установка кластера

Установка Hadoop кластера. Выбор начальной конфигурации. Начальная конфигурация HDFS и MapReduce. Файлы логов. Установка Hadoop клиентов. Установка Hadoop кластера в облаке. Выбор вендора и хостинга. Установка с использованием виртуального образа. Amazon EMR.

 

6.       MapReduce

Ведение в MapReduce. Компоненты MapReduce. Работа программы MapReduce. YARN MapReduce v2. Восстановление после сбоя. JobTracker веб интерфейс.

 

7.       Операции обслуживания кластера Hadoop

Дисковая подсистема. Квоты. Остановка, запуск, перезапуск. Управление узлами. Сетевая топология. Настройка высокой доступности кластера и обновлений. Импорт(загрузка) данных на HDFS.

8.       Управление кластером Hadoop с использованием Cloudera Manager

Установка Cloudera Manager. Основные операции и задачи Cloudera Manager. Мониторинг с Cloudera Manager. Диагностика и разрешение проблем с Cloudera Manager.

 

9.       Безопасность при работе с Big Data

Многопользовательский режим. Аутентификация и авторизация. Kerberos, keytabs, principals. Установка и конфигурирование Kerberous в Hadoop.

 

10.   Мониторинг

Nagios. Gangila. JMX. Logging. Clustering.

 

11.   Оптимизация и управление ресурсами

Поиск узких мест. Производительность. Файловая система. Worker Node. Сетевая производительность. FIFO scheduler. Планировщик емкости (Capacity scheduler). Гранулярное управление ресурсами (Fair scheduler). Защита очередей и доминантное управление ресурсами.

 

12.   Troubleshooting

Data Node. Task Tracker. Job Tracker. Name Node.

 

13.   Резервное копирование (Backup)

Резервное копирование и аварийное восстановление. Best practices.

 

14.   Инструментарий Hadoop экосистемы

Apache Pig - установка и функционал. Введение в Apache Hive, понятие Hive таблицы, установка Hive. Apache Scoop - установка и функционал. Apache Flume - установка и функционал.

 Подходит? Подать заявку на этот курс