hadoop大数据开发技术

课程大纲

• 第1章 初识Hadoop
•     第1节大数据简介
•     第2节大数据技术核心需求
•     第3节Hadoop简介
•     第4节离线数据分析流程介绍
•     第5节大数据学习流程

• 第2章搭建Hadoop集群
•     第1节安装准备
•     第2节Linux基本命令
•     第3节Hadoop集群搭建
•     第4节Hadoop集群测试

• 第3章HDFS分布式文件系统
•     第1节HDFS的简介
•     第2节HDFS的架构和原理
•     第3节HDFS的Shell命令
•     第4节Java程序操作HDFS
•     第5节Hadoop序列化
•     第6节Hadoop小文件处理
•     第7节通信机制RPC

• 第4章MapReduce分布式计算框架
•     第1节认识MapReduce
•     第2节MapReduce作业解析
•     第3节MapReduce工作原理
•     第4节Shuffle阶段
•     第5节MapReduce编程组件
•     第6节优化--数据倾斜
•     第7节经典案例--排序
•     第8节经典案例--倒序索引
•     第9节.经典案例--Join
•     第10节经典案例--平均分以及百分比
•     第11节经典案例--过滤敏感词汇

• 第5章Zookeeper分布式协调服务
•     第1节认识Zookeeper
•     第2节Zookeeper的安装和常用命令
•     第3节Zookeeper客户端编程
•     第4节Zookeeper典型应用场景

• 第6章Hadoop2.0新特性
•     第1节Hadoop2.0新特性
•     第2节 Yarn资源管理框架
•     第3节Hadoop的HA模式

• 第7章Hive
•     第1节数据仓库简介
•     第2节认识Hive
•     第3节Hive安装
•     第4节Hive数据类型
•     第5节Hive数据库操作
•     第6节Hive表
•     第7节Hive表的查询
•     第8节Hive函数
•     第9节Hive性能优化
•     第10节Hive 案例分析

• 第8章HBase分布式存储系统
•     第1节认识HBase
•     第2节HBase表设计
•     第3节HBase安装
•     第4节HBase Shell常用操作
•     第5节HBase编程
•     第6节HBase过滤器和比较器
•     第7节HBase和Hive 结合
•     第8节HBase性能优化

• 第9章 Flume
•     第1节认识Flume
•     第2节Flume基本组件
•     第3节Flume安装
•     第4节Flume数据流模型
•     第5节Flume的可靠性保证
•     第6节Flume拦截器
•     第7节采集案例

• 第10章Sqoop
•     第1节认识Sqoop
•     第2节Sqoop安装
•     第3节Sqoop命令
•     第4节Sqoop数据导入
•     第5节Sqoop数据导出
•     第6节Sqoop job