时间

课程安排

6月13日08:00

签到

6月13日08:30-11:30

Hadoop 基础知识

· Hadoop 动机

· Hadoop 概览

· 数据存储：HDFS

· 分布式数据处理：YARN、MapReduce和Spark

· 数据处理与分析：Pig、Hive 和Impala

· 数据集成：Sqoop

· 其它的Hadoop 数据工具

· 练习分析场景说明

Pig 简介

· Pig 是什么？

· Pig 的特点

· Pig 使用案例

· 与Pig 的交互

6月13日13:00-17:30

Pig 基本数据分析

· PigLatin 语法

· 加载数据

· 简单数据类型

· 字段定义

· 数据输出

· 架构查看

· 数据筛选和排序

· 常用函数

使用Pig 处理复杂的数据

· 数据存储格式

· 复合/ 嵌套数据类型

· 数据分组

· 复杂数据内置函数

· 遍历分组数据

6月14日08:30-11:30

Pig 多数据集操作

· 数据集合并技术

· 在Pig 中联接数据集

· 集合运算

· 拆分数据集

Pig 故障诊断和性能优化

· Pig 故障排除

· 日志

· 使用Hadoop 的Web UI

· 数据采样及调试

· 性能概述

· 了解执行计划

· 提高Pig 作业性能的技巧

6月14日13:00-17:30

Hive 和Impala 简介

· 什么是Hive ？

· 什么是Impala ？

· 为什么使用Hive 和Impala

· 架构和数据存储

· Hive 及Impala 与传统数据库的比较

· Hive 使用案例

使用Hive 和Impala 进行数据查询

· 数据库和表

· 基本的Hive 和Impala 查询语言语法

· 数据类型

· 使用Hue 来执行查询

· 使用Beeline（Hive Shell）

· 使用Impala Shell

6月15日08:30-11:30

Hive 及Impala 数据管理

· 数据存储

· 创建数据库和表

· 加载数据

· 修改数据库和表

· 使用视图简化查询

· 存储查询结果

数据存储和性能

· 对表进行分区

· 分区表的数据加载

· 何时使用分区

· 文件格式的选取

· 使用Avro 及Parquet 文件格式

6月15日13:00-17:30

使用Hive 和 Impala 进行关系数据分析

· 连接数据集

· 常见的内置函数

· 聚合和窗口函数

复杂数据类型

· 在Hive 里使用复杂数据

· 在Impala 里使用复杂数据

6月16日08:30-11:30

使用Hive 及Impala 分析文本数据

· 在Hive 及Impala 里使用正则表达式

· 在Hive 里通过SerDe 加载处理文本

· 情感分析及n-gram

Hive 优化

· 了解查询性能

· Bucketing（分桶）

· 索引数据

· Hive on Spark

Impala 优化

· Impala 如何执行查询

· 改善Impala 性能

6月16日13:00-17:30

扩展Hive 及Impala

· 使用SerDe 加载特殊格式文件

· 通过定制脚本来转换数据

· 用户自定义函数

· 参数化查询

选择最佳工具

· 比较Pig、Hive、Impala 和关系数据库

· 该选择哪一个？