- 课程概览
- 授课讲师
- 课程大纲
- 实验列表
- 课程概览
- 授课讲师
- 课程大纲
- 实验列表
大数据
通过本课程的学习：学员可以掌握Linux的相关技术，Hadoop的入门知识，DHFS集群的搭建和工作机制、MAPREDUCE的原理和实践、zookeeper集群的搭建、HBASE的安装和开发原理、日志采集框架flume，kafka数据处理、Spark集群的搭建和使用等知识
课程概览
授课讲师
擅长管理系统的开发；数据分析与统计；容器虚拟化;系统运维 熟悉使用Java,Spring,SpringMVC,Springboot,Mybatis等框架进行企业级开发； 熟悉使用Python，GO，shell等语言 熟悉基于Msql，sqlserver，Oracle等多种数据库编程； 熟悉Msql数据库主从复制，读写分离等技术使用，非关系型数据库Redis集群搭建部署和管理 熟悉Linux平台操作，云计算，容器虚拟化技术等； 熟悉Redis，Solr，Nginx，ElasticSearch，Apache集群，负载均衡等高并发组件； 熟悉Hadoop，Hive，Spark，Sqoop，Fiume，HBase等大数据组件 熟悉 Docker;了解 kubernetes 容器集群管理及部署 熟悉 Zabbix 的服务监控以及触发报警相关的配置
课程大纲
- 第1章Linux相关技术
-
第1节 课程大纲介绍 试听
-
第2节 安装redhat 试听
-
第3节 redhat自动分配ip设置
-
第4节 xshell连接虚拟机
-
第5节 linux系统结构讲解
-
第6节 文件系统介绍
-
第7节 chmod修改文件权限
-
第8节 chown&chgrp
-
第9节 常用命令
-
第10节 安装jdk
-
第11节 yum配置
-
第12节 安装mysql
- 第2章Hadoop入门
-
第1节 hadoop概述
-
第2节 hadoop应用
-
第3节 离线数据分析流程
- 第3章搭建Hadoop集群
-
第1节 准备linux环境
-
第2节 安装hadoop集群
-
第3节 配置ssh免登陆
- 第4章Hadoop集群配置常用参数HDFS工作机制
-
第1节 hdfs概述和结构
-
第2节 hdfs命令基本使用
-
第3节 hdfs写数据过程讲解
-
第4节 hdfs读数据过程讲解
-
第5节 namenode工作机制总体原则
-
第6节 secondnamenode checkpoint机制
-
第7节 datanode工作机制
-
第8节 java client操作hdfs
-
第9节 yarn框架介绍
-
第10节 定时调度器使用讲解
-
第11节 定时采集数据作业需求介绍
-
第12节 shell采集脚本讲解
- 第5章MAPREDUCE详解
-
第1节 为什么要使用mapreduce
-
第2节 mapreduce核心思想和运行机制
-
第3节 mapreduce并行度决定机制
-
第4节 mr实现单词统计例子讲解
-
第5节 wordcount运行过程分析
-
第6节 mr的shuffle机制
-
第7节 mapreduce全过程简单分析
- 第6章zookeeper
-
第1节 zookeeper概述
-
第2节 zookeeper集群机制
-
第3节 Zookeeper安装
-
第4节 zookeeper结构和命令
-
第5节 zookeeper原理
- 第7章Hbase
-
第1节 hbase简介
-
第2节 habse安装
-
第3节 hbase依赖zookeeper
-
第4节 hbase开发
-
第5节 hbase原理
-
第6节 MapReduce操作Hbase
- 第8章HIVE详解
-
第1节 Hive简介
-
第2节 Hive架构
-
第3节 HIVE的安装部署
-
第4节 Hive基本操作
-
第5节 Hive函数
- 第9章辅导工具
-
第1节 flume简介
-
第2节 flume采集网络数据
-
第3节 flume采集目录日志文件
-
第4节 flume采集文件和发送到另一个agent
-
第5节 sqoop工具使用介绍
- 第10章Spark基础
-
第1节 spark概述
-
第2节 spark安装
-
第3节 使用Spark
-
第4节 scala
-
第5节 创建和运行spark应用
-
第6节 Spark RDD
-
第7节 统计访问网站次数
-
第8节 SparkSQL概述及简单使用
-
第9节 SparkSQL编程
-
第10节 Spark streaming概述
-
第11节 Spark streaming编程
- 第11章kafka
-
第1节 kafka简介
-
第2节 kafka安装及常用命令
-
第3节 kafka的使用
-
第4节 redis
- 第12章项目实战
-
第1节 spark环境搭建
-
第2节 点击流项目之采集功能
-
第3节 点击流项目之移动数据到预处理目录
-
第4节 点击流项目之清洗数据
-
第5节 点击流项目之导入清理之后的数据
-
第6节 点击流项目之数据统计
实验列表
| 节数 | 上课时间 | 星期一 | 星期二 | 星期三 | 星期四 | 星期五 | 星期六 | 星期天 |
|---|---|---|---|---|---|---|---|---|
| 第1节 | 08:00 - 08:40 | |||||||
| 第2节 | 09:00 - 09:40 | |||||||
| 第3节 | 10:00 - 10:40 | |||||||
| 第4节 | 11:00 - 11:40 | |||||||
| 第5节 | 14:00 - 14:40 | |||||||
| 第6节 | 15:00 - 15:40 | |||||||
| 第7节 | 16:00 - 16:40 | |||||||
| 第8节 | 17:00 - 17:40 |
| 天数 | 上课日期 | 上课时间 | 内容 |
|---|
相关课件
-
pdf
Linux随堂笔记
大小：4.41MB
2020-02-28
-
pdf
10网站点击流数据分析项目
大小：1.99MB
2020-02-28
-
pdf
09kafka随堂笔记
大小：955.07KB
2020-02-28
-
pdf
08spark
大小：1.96MB
2020-02-28
-
pdf
07辅助工具
大小：618.91KB
2020-02-28
-
pdf
06Hive随堂笔记
大小：3.29MB
2020-02-28
18503067430