课程介绍

Apache Hadoop 介绍

• Hadoop 动机

• 基本概念

• Hadoop 核心部件

Hadoop 机群安装

• 机群管理方案

• Cloudera Manager 特性

• Cloudera manager 安装

• Hadoop (CDH) 安装

Hadoop 分布式文件系统 (HDFS)

• HDFS 特性

• 读写文件

• NameNode 内存考虑

• HDFS 安全简介

• HDFS Web UI

• 使用 HDFS Shell

YARN 上的 MapReduce 和 Spark

• 计算平台在 Hadoop 里扮演的角色

• YARN：机群资源管理器

• MapReduce 概念

• Apache Spark 概念

• Yarn 上的计算平台

• YARN Web UI 及 Shell

• YARN 应用运行日志

Hadoop 配置及服务运行日志

•  

• Cloudera Manager 配置管理机制

• 定位配置参数及进行配置变更

• 管理角色实例及添加服务

• 配置 HDFS 服务

• 配置 Hadoop 服务运行日志

• 配置 YARN 服务

HDFS 导入数据

• 使用 Flume 从外部数据源实时导入数据

• 使用 Sqoop 从关系数据库导入数据

• REST 接口

• 导入数据的最佳实践

Hadoop 机群规划

• 规划考虑因素

• 硬件选择

• 虚拟化选项

• 网络因素

• 节点配置

Hive，Impala 及 Pig 的安装及配置

• Hive

• Impala

• Pig

Hadoop 客户端及 Hue

• 什么是 Hadoop 客户端

• 安装及配置 Hadoop 客户端

• 安装及配置 Hue

• 使用 Hue 进行身份验证及授权

机群高级配置

• 高级配置参数

• Hadoop 端口配置

• HDFS 机柜感知配置

• HDFS 高可靠性配置

Hadoop 安全

• Hadoop 安全的重要性

• Hadoop 安全性概念

• Kerberos 简介

• 使用 Kerberos 保护Hadoop 机群

• 其他安全特性

资源管理

• 使用静态服务池配置 Linux cgroup

• 公平调度器

• 配置动态资源池

• YARN 内存及 CPU 设置

• Impala 查询调度

机群维护

• 检查 HDFS 状态

• 机群间复制数据

• 添加／移除机群节点

• 机群数据负载平衡

• 目录快照

• 机群升级

机群监控及排错

• Cloudera Manager 监控特性

• 监控 Hadoop 机群

• Hadoop 机群排错

• 常见配置不当问题

总结