课程介绍

Hadoop 及生态系统介绍

• 传统大规模系统的问题

• Hadoop ！

• Hadoop 生态系统

Hadoop 体系结构及 HDFS

• 机群环境下的分布式处理

• 存储：HDFS 体系结构

• 存储：使用 HDFS

• 资源管理：YARN 体系结构

• 资源管理：使用 YARN

使用 Apache Sqoop 导入关系数据

• Sqoop 简介

• 数据的基本导入导出

• 减少传输的数据量

• 改善 Sqoop 性能

• Sqoop 2

Impala 及 Hive 介绍

• 简介

• 为什么使用 Impala 及 Hive

• Hive 和传统数据库的比较

• Hive 应用场景

使用 Impala 及 Hive 管理数据及建模

• 数据存储

• 创建数据库及表

• 表数据导入

• HCatalog

• Impala 元数据缓存

数据格式

• 选择文件格式

• 支持不同文件格式的工具

• Avro 数据格式定义模式

• 在 Hive 及 Sqoop 里使用 Avro

• Avro 格式数据模式变更

• 压缩

数据分区

• 分区概述

• Impala 及 Hive 里的数据分区

Apache Flume 实时数据采集

• 什么是 Apache Flume

• Flume 基本体系结构

• Flume 源

• Flume 槽

• Flume 通道

• Flume 配置

Spark 基础

• 什么是 Apache Spark

• 使用 Spark Shell

• RDDs( 可恢复的分布式数据集）

• Spark 里的函数式编程

Spark RDD

• RDD

• 键值对 RDD

• MapReduce

• 其他键值对 RDD 操作

编写和部署 Spark 应用

• Spark 应用对比 Spark Shell

• 创建 SparkContext

• 创建 Spark 应用（Scala 和 Java）

• 运行 Spark 应用

• Spark 应用 WebUI

• 配置 Spark 属性

• 运行日志

Spark 的并行处理

• 回顾：机群环境里的Spark

• RDD 分区

• 基于文件RDD 的分区

• HDFS 和本地化数据

• 执行并行操作

• 执行阶段及任务

Spark 缓存和持久化

• RDD 演变

• 缓存

• 分布式持久化

Spark 数据处理的常见模式

• 常见 Spark 应用案例

• 迭代式算法

• 图处理及分析

• 机器学习

• 例子：K －Means

预览：Spark SQL

• Spark SQL 和 SQL Context

• 创建 DataFrames

• 变更及查询 DataFrames

• 保存 DataFrames

• Spark SQL 对比 Impala

总结