腾科职业培训学校 学校主页 课程
没有解决您的问题?扫描二维码加入博睿云交流群畅所欲言吧!
使用帮助

全部课程> hadoop大数据开发技术

hadoop大数据开发技术

来源:腾科职业培训学校

  • 2022-12-20  -  2024-12-20 30课时(建议每周学习0小时)
  • 自主模式

已有272人报名学习

  • 课程概览
  • 授课讲师
  • 课程大纲
  • 课程概览
  • 授课讲师
  • 课程大纲

Hadoop 作为大数据生态系统中的核心框架,专为离线和大规模数据处理而设计,正好解决了企业的实际需求。 Hadoop 的核心组件 HDFS 为海量数据提供了分布式存储; MapReduce 为海量数据提供了分布式计算。很多互联网公司都使用 Hadoop 来实现公司的核心业务,在海量数据相关的领域也有Hadoop身影。

课程概览
通过本课程你将学习到以下内容。
第1章:介绍了大数据的由来及 Hadoop 的特性。
第2章:介绍了 Hadoop 集群搭建。
第3章~第5章:介绍了 HDFS 分布式文件系统、 MapReduce 分布式计算框架以及 ZooKeeper 分布式协调服务,带领同学认识 Hadoop 的核心功能。
第6章:介绍了 Hadoop 2.0的新特性。
第7章~第10章:介绍了 Hadoop 生态圈中的相关辅助系统,包括 Hive 、 HBase 分布式存储系统、 Flume 、 Sqoop 。
授课讲师

伍伟邦

伍老师有10年的Java开发、大数据开发工作经验,精通Java、Scala、js、Python、sql等编程语言。熟练运用Java,运用各级框架的组合开发。并能熟悉基于Oracle、MySQL等多种数据库编程,有千万级的电信大数据处理经验;曾带领团队主导研发CRM大型项目。熟悉linux/unix平台;熟悉redis、solr、nginx、apache集群、负载均衡等等技术解决系统多并发的问题。精通Hadoop、hive、Spark等大数据组件,及华为大数据平台与数据挖掘知识体系。 项目经验: 1、广东电信营业厅效能评估子系统 2、广东电信渠道绩效业务支撑系统 3、某银行定期存款业务预测项目 4、某电商日志数据消费行为分析项目 5、AFC地铁售票机管理系统 6、广东移动销售绩效评估系统

课程大纲
  • 第1章 初识Hadoop
  •     第1节大数据简介
  •     第2节大数据技术核心需求
  •     第3节Hadoop简介
  •     第4节离线数据分析流程介绍
  •     第5节大数据学习流程
  • 第2章搭建Hadoop集群
  •     第1节安装准备
  •     第2节Linux基本命令
  •     第3节Hadoop集群搭建
  •     第4节Hadoop集群测试
  • 第3章HDFS分布式文件系统
  •     第1节HDFS的简介
  •     第2节HDFS的架构和原理
  •     第3节HDFS的Shell命令
  •     第4节Java程序操作HDFS
  •     第5节Hadoop序列化
  •     第6节Hadoop小文件处理
  •     第7节通信机制RPC
  • 第4章MapReduce分布式计算框架
  •     第1节认识MapReduce
  •     第2节MapReduce作业解析
  •     第3节MapReduce工作原理
  •     第4节Shuffle阶段
  •     第5节MapReduce编程组件
  •     第6节优化--数据倾斜
  •     第7节经典案例--排序
  •     第8节经典案例--倒序索引
  •     第9节.经典案例--Join
  •     第10节经典案例--平均分以及百分比
  •     第11节经典案例--过滤敏感词汇
  • 第5章Zookeeper分布式协调服务
  •     第1节认识Zookeeper
  •     第2节Zookeeper的安装和常用命令
  •     第3节Zookeeper客户端编程
  •     第4节Zookeeper典型应用场景
  • 第6章Hadoop2.0新特性
  •     第1节Hadoop2.0新特性
  •     第2节 Yarn资源管理框架
  •     第3节Hadoop的HA模式
  • 第7章Hive
  •     第1节数据仓库简介
  •     第2节认识Hive
  •     第3节Hive安装
  •     第4节Hive数据类型
  •     第5节Hive数据库操作
  •     第6节Hive表
  •     第7节Hive表的查询
  •     第8节Hive函数
  •     第9节Hive性能优化
  •     第10节Hive 案例分析
  • 第8章HBase分布式存储系统
  •     第1节认识HBase
  •     第2节HBase表设计
  •     第3节HBase安装
  •     第4节HBase Shell常用操作
  •     第5节HBase编程
  •     第6节HBase过滤器和比较器
  •     第7节HBase和Hive 结合
  •     第8节HBase性能优化
  • 第9章 Flume
  •     第1节认识Flume
  •     第2节Flume基本组件
  •     第3节Flume安装
  •     第4节Flume数据流模型
  •     第5节Flume的可靠性保证
  •     第6节Flume拦截器
  •     第7节采集案例
  • 第10章Sqoop
  •     第1节认识Sqoop
  •     第2节Sqoop安装
  •     第3节Sqoop命令
  •     第4节Sqoop数据导入
  •     第5节Sqoop数据导出
  •     第6节Sqoop job
节数上课时间星期一 星期二星期三星期四 星期五星期六星期天
第1节08:00 - 08:40
第2节09:00 - 09:40
第3节10:00 - 10:40
第4节11:00 - 11:40
第5节14:00 - 14:40
第6节15:00 - 15:40
第7节16:00 - 16:40
第8节17:00 - 17:40
天数上课日期上课时间内容
相关课件 更多
  • pdf

    Sqoop安装

    大小:90.16KB

    2022-12-29

  • pdf

    Flume安装

    大小:188.54KB

    2022-12-29

  • pdf

    Zookeeper安装

    大小:87.4KB

    2022-12-29

  • pdf

    Hbase安装

    大小:413.87KB

    2022-12-29

  • pdf

    Hive安装

    大小:149.67KB

    2022-12-29

  • pdf

    Hadoop安装

    大小:275.04KB

    2022-12-29