- 课程概览
- 授课讲师
- 课程大纲
- 课程概览
- 授课讲师
- 课程大纲
Hadoop 作为大数据生态系统中的核心框架,专为离线和大规模数据处理而设计,正好解决了企业的实际需求。 Hadoop 的核心组件 HDFS 为海量数据提供了分布式存储; MapReduce 为海量数据提供了分布式计算。很多互联网公司都使用 Hadoop 来实现公司的核心业务,在海量数据相关的领域也有Hadoop身影。
课程概览
第1章:介绍了大数据的由来及 Hadoop 的特性。
第2章:介绍了 Hadoop 集群搭建。
第3章~第5章:介绍了 HDFS 分布式文件系统、 MapReduce 分布式计算框架以及 ZooKeeper 分布式协调服务,带领同学认识 Hadoop 的核心功能。
第6章:介绍了 Hadoop 2.0的新特性。
第7章~第10章:介绍了 Hadoop 生态圈中的相关辅助系统,包括 Hive 、 HBase 分布式存储系统、 Flume 、 Sqoop 。
授课讲师

伍老师有10年的Java开发、大数据开发工作经验,精通Java、Scala、js、Python、sql等编程语言。熟练运用Java,运用各级框架的组合开发。并能熟悉基于Oracle、MySQL等多种数据库编程,有千万级的电信大数据处理经验;曾带领团队主导研发CRM大型项目。熟悉linux/unix平台;熟悉redis、solr、nginx、apache集群、负载均衡等等技术解决系统多并发的问题。精通Hadoop、hive、Spark等大数据组件,及华为大数据平台与数据挖掘知识体系。 项目经验: 1、广东电信营业厅效能评估子系统 2、广东电信渠道绩效业务支撑系统 3、某银行定期存款业务预测项目 4、某电商日志数据消费行为分析项目 5、AFC地铁售票机管理系统 6、广东移动销售绩效评估系统
课程大纲
- 第1章 初识Hadoop
-     第1节大数据简介
-     第2节大数据技术核心需求
-     第3节Hadoop简介
-     第4节离线数据分析流程介绍
-     第5节大数据学习流程
- 第2章搭建Hadoop集群
-     第1节安装准备
-     第2节Linux基本命令
-     第3节Hadoop集群搭建
-     第4节Hadoop集群测试
- 第3章HDFS分布式文件系统
-     第1节HDFS的简介
-     第2节HDFS的架构和原理
-     第3节HDFS的Shell命令
-     第4节Java程序操作HDFS
-     第5节Hadoop序列化
-     第6节Hadoop小文件处理
-     第7节通信机制RPC
- 第4章MapReduce分布式计算框架
-     第1节认识MapReduce
-     第2节MapReduce作业解析
-     第3节MapReduce工作原理
-     第4节Shuffle阶段
-     第5节MapReduce编程组件
-     第6节优化--数据倾斜
-     第7节经典案例--排序
-     第8节经典案例--倒序索引
-     第9节.经典案例--Join
-     第10节经典案例--平均分以及百分比
-     第11节经典案例--过滤敏感词汇
- 第5章Zookeeper分布式协调服务
-     第1节认识Zookeeper
-     第2节Zookeeper的安装和常用命令
-     第3节Zookeeper客户端编程
-     第4节Zookeeper典型应用场景
- 第6章Hadoop2.0新特性
-     第1节Hadoop2.0新特性
-     第2节 Yarn资源管理框架
-     第3节Hadoop的HA模式
- 第7章Hive
-     第1节数据仓库简介
-     第2节认识Hive
-     第3节Hive安装
-     第4节Hive数据类型
-     第5节Hive数据库操作
-     第6节Hive表
-     第7节Hive表的查询
-     第8节Hive函数
-     第9节Hive性能优化
-     第10节Hive 案例分析
- 第8章HBase分布式存储系统
-     第1节认识HBase
-     第2节HBase表设计
-     第3节HBase安装
-     第4节HBase Shell常用操作
-     第5节HBase编程
-     第6节HBase过滤器和比较器
-     第7节HBase和Hive 结合
-     第8节HBase性能优化
- 第9章 Flume
-     第1节认识Flume
-     第2节Flume基本组件
-     第3节Flume安装
-     第4节Flume数据流模型
-     第5节Flume的可靠性保证
-     第6节Flume拦截器
-     第7节采集案例
- 第10章Sqoop
-     第1节认识Sqoop
-     第2节Sqoop安装
-     第3节Sqoop命令
-     第4节Sqoop数据导入
-     第5节Sqoop数据导出
-     第6节Sqoop job
节数 | 上课时间 | 星期一 | 星期二 | 星期三 | 星期四 | 星期五 | 星期六 | 星期天 |
---|---|---|---|---|---|---|---|---|
第1节 | 08:00 - 08:40 | |||||||
第2节 | 09:00 - 09:40 | |||||||
第3节 | 10:00 - 10:40 | |||||||
第4节 | 11:00 - 11:40 | |||||||
第5节 | 14:00 - 14:40 | |||||||
第6节 | 15:00 - 15:40 | |||||||
第7节 | 16:00 - 16:40 | |||||||
第8节 | 17:00 - 17:40 |
天数 | 上课日期 | 上课时间 | 内容 |
---|
相关课件 更多
-
pdf
Sqoop安装
大小:90.16KB
2022-12-29
-
pdf
Flume安装
大小:188.54KB
2022-12-29
-
pdf
Zookeeper安装
大小:87.4KB
2022-12-29
-
pdf
Hbase安装
大小:413.87KB
2022-12-29
-
pdf
Hive安装
大小:149.67KB
2022-12-29
-
pdf
Hadoop安装
大小:275.04KB
2022-12-29