大数据-复制修改

课程大纲

• 第1章Linux相关技术
•     第1节 课程大纲介绍
•     第2节 安装redhat
•     第3节 redhat自动分配ip设置
•     第4节 xshell连接虚拟机
•     第5节 linux系统结构讲解
•     第6节 文件系统介绍
•     第7节 chmod修改文件权限
•     第8节 chown&chgrp
•     第9节 常用命令
•     第10节 安装jdk
•     第11节 yum配置
•     第12节 安装mysql

• 第2章Hadoop入门
•     第1节 hadoop概述
•     第2节 hadoop应用
•     第3节 离线数据分析流程

• 第3章搭建Hadoop集群
•     第1节 准备linux环境
•     第2节 安装hadoop集群
•     第3节 配置ssh免登陆

• 第4章Hadoop集群配置常用参数HDFS工作机制
•     第1节 hdfs概述和结构
•     第2节 hdfs命令基本使用
•     第3节 hdfs写数据过程讲解
•     第4节 hdfs读数据过程讲解
•     第5节 namenode工作机制总体原则
•     第6节 secondnamenode checkpoint机制
•     第7节 datanode工作机制
•     第8节 java client操作hdfs
•     第9节 yarn框架介绍
•     第10节 定时调度器使用讲解
•     第11节 定时采集数据作业需求介绍
•     第12节 shell采集脚本讲解

• 第5章MAPREDUCE详解
•     第1节 为什么要使用mapreduce
•     第2节 mapreduce核心思想和运行机制
•     第3节 mapreduce并行度决定机制
•     第4节 mr实现单词统计例子讲解
•     第5节 wordcount运行过程分析
•     第6节 mr的shuffle机制
•     第7节 mapreduce全过程简单分析

• 第6章zookeeper
•     第1节 zookeeper概述
•     第2节 zookeeper集群机制
•     第3节 Zookeeper安装
•     第4节 zookeeper结构和命令
•     第5节 zookeeper原理

• 第7章Hbase
•     第1节 hbase简介
•     第2节 habse安装
•     第3节 hbase依赖zookeeper
•     第4节 hbase开发
•     第5节 hbase原理
•     第6节 MapReduce操作Hbase

• 第8章HIVE详解
•     第1节 Hive简介
•     第2节 Hive架构
•     第3节 HIVE的安装部署 
•     第4节 Hive基本操作
•     第5节 Hive函数

• 第9章辅导工具
•     第1节 flume简介
•     第2节 flume采集网络数据
•     第3节 flume采集目录日志文件
•     第4节 flume采集文件和发送到另一个agent
•     第5节 sqoop工具使用介绍

• 第10章Spark基础
•     第1节 spark概述
•     第2节 spark安装
•     第3节 使用Spark
•     第4节 scala
•     第5节 创建和运行spark应用
•     第6节 Spark RDD
•     第7节 统计访问网站次数
•     第8节 SparkSQL概述及简单使用
•     第9节 SparkSQL编程
•     第10节 Spark streaming概述
•     第11节 Spark streaming编程

• 第11章kafka
•     第1节 kafka简介
•     第2节 kafka安装及常用命令
•     第3节 kafka的使用
•     第4节 redis

• 第12章项目实战
•     第1节 spark环境搭建
•     第2节 点击流项目之采集功能
•     第3节 点击流项目之移动数据到预处理目录
•     第4节 点击流项目之清洗数据
•     第5节 点击流项目之导入清理之后的数据
•     第6节 点击流项目之数据统计

实验列表