Spark大数据技术与应用

课程大纲

• 第1章Spark概述
•     第1节 Spark简介
•     第2节 Spark环境搭建
•     第3节 Spark的运行架构与原理

• 第2章Scala基础
•     第1节 Scala简介
•     第2节 Scala的安装与运行
•     第3节 数据类型、变量、常量
•     第4节 表达式、数组
•     第5节 函数
•     第6节 案例：手机号码识别
•     第7节 循环控制结构
•     第8节 List、Set、Map、元组
•     第9节 函数组合器
•     第10节 案例：根据归属地信息分组
•     第11节 Scala类
•     第12节 伴生类和伴生对象
•     第13节 模式匹配
•     第14节 apply方法
•     第15节 文件的读写

• 第3章Spark编程
•     第1节 RDD的创建
•     第2节 转换操作和行动操作
•     第3节 案例：查看成绩前五的学生
•     第4节 案例：成绩为100分的学生ID
•     第5节 键值对RDD
•     第6节 案例：计算学生两门学科成绩的总分
•     第7节 RDD聚合操作
•     第8节 案例：求学生成绩平均值
•     第9节 数据的读取与存储

• 第4章Spark编程进阶
•     第1节 RDD持久化
•     第2节 RDD分区

• 第5章结构化数据文件处理Spark SQL
•     第1节 Spark SQL介绍
•     第2节 RDD和DataFrame的区别
•     第3节 DataFrame的创建
•     第4节 DataFrame的保存
•     第5节 DataFrame的常用操作
•     第6节 将RDD转换成DataFrame
•     第7节 MariaDB的安装
•     第8节 使用SparkSQL读写数据库

• 第6章实时计算框架Spark Streaming
•     第1节 Spark Streaming概述
•     第2节 DStream的工作机制
•     第3节 编写SparkStreaming程序
•     第4节 DStream读取文件流
•     第5节 DStream转换操作
•     第6节 DStream窗口操作
•     第7节 DStream读取套接字流
•     第8节 DStream输出操作
•     第9节 DStream写入数据库
•     第10节 案例：窗口操作实现用户命令的接收

实验列表

• 实验名称Spark运行环境搭建
• 实验描述Hadoop、Spark伪分布式环境的安装和配置。

• 实验名称Scala的下载和安装
• 实验描述下载Scala安装包，安装Scala，编写Scala程序helloworld并运行。

• 实验名称求学生成绩平均
• 实验描述用前面学过的内容编写spark程序，处理学生成绩的数据信息，求学生成绩平均。

• 实验名称RDD持久化
• 实验描述在需要进行多次迭代的计算中，常常需要多次使用同一组数据，由于Spark RDD是惰性求值的，因此计算资源消耗会非常大，为了避免多次计算同一个RDD，可以在Spark中设置数据持久化。

• 实验名称MariaDB的安装
• 实验描述安装MariaDB数据库，为后面的用SparkSQL读写数据库做准备。

• 实验名称窗口操作实现用户命令的接收
• 实验描述使用DStream窗口操作，在另一个终端（用户端）发送数据，运行SparkDStream程序接收数据。

• 实验名称常量和变量
• 实验描述用Scala语言声明常量和变量，掌握Scala语言的常量和变量的使用。

• 实验名称数组的基本操作
• 实验描述用Scala语言声明数组，掌握数组的基本使用。

• 实验名称函数的声明和使用
• 实验描述用Scala语言声明函数，并掌握函数的基本使用。

• 实验名称手机号码识别
• 实验描述巩固前面学过的东西，用前面学过的内容编写Scala程序，编写函数识别号码，查看该号码是哪个运营商的号码。

• 实验名称九九乘法表
• 实验描述巩固前面学过的东西，用前面学过的内容编写Scala程序，利用循环输出一个九九乘法表。

• 实验名称List的定义与使用
• 实验描述巩固前面学过的东西，用前面学过的内容编写Scala程序，掌握List列表的定义与使用。

• 实验名称使用函数组合器
• 实验描述巩固前面学过的东西，用前面学过的内容编写Scala程序，掌握各种函数组合器的用法。

• 实验名称根据归属地信息分组
• 实验描述巩固前面学过的东西，用前面学过的内容编写Scala程序，根据归属地信息对手机号码段分组。

• 实验名称类的定义与使用
• 实验描述巩固前面学过的东西，用前面学过的内容编写Scala程序，编写一个类并使用它。

• 实验名称伴生类和伴生对象
• 实验描述巩固前面学过的东西，用前面学过的内容编写Scala程序，掌握并理解伴生类和伴生对象。

• 实验名称模式匹配
• 实验描述巩固前面学过的东西，用前面学过的内容编写Scala程序，掌握并理解模式匹配。

• 实验名称apply方法的使用
• 实验描述巩固前面学过的东西，用前面学过的内容编写Scala程序，掌握并理解apply方法。

• 实验名称文件的读写
• 实验描述巩固前面学过的东西，用前面学过的内容编写Scala程序，掌握并理解Scala语言对文件的读写。

• 实验名称创建RDD
• 实验描述巩固前面学过的东西，用前面学过的内容编写Scala程序，掌握RDD的创建。

• 实验名称操作RDD
• 实验描述巩固前面学过的东西，用前面学过的内容编写Scala程序，掌握RDD的操作。

• 实验名称查看排名前五的学生
• 实验描述巩固前面学过的东西，用前面学过的内容编写Scala程序，在数据中获取成绩排名前五的学生。

• 实验名称查看满分的学生
• 实验描述巩固前面学过的东西，用前面学过的内容编写Scala程序，在数据中获取至少有一门成绩为100分的学生。

• 实验名称操作键值对RDD
• 实验描述巩固前面学过的东西，用前面学过的内容编写Scala程序，掌握键值对RDD的操作。

• 实验名称统计总分
• 实验描述巩固前面学过的东西，用前面学过的内容编写Scala程序，统计学生所有成绩的总分。

• 实验名称RDD聚合操作
• 实验描述巩固前面学过的东西，用前面学过的内容编写Scala程序，掌握RDD的聚合操作。

• 实验名称数据的读写
• 实验描述巩固前面学过的东西，用前面学过的内容编写Scala程序，掌握RDD数据的文件的读取和存储。

• 实验名称设置数据分区
• 实验描述巩固前面学过的东西，用前面学过的内容编写Scala程序，理解并掌握设置数据分区的操作。

• 实验名称创建DataFrame
• 实验描述巩固前面学过的东西，用前面学过的内容编写Scala程序，掌握DataFrame的创建。

• 实验名称保存DataFrame
• 实验描述巩固前面学过的东西，用前面学过的内容编写Scala程序，掌握DataFrame的保存，将DataFrame的数据保存到本地文件。

• 实验名称DataFrame的常用操作
• 实验描述巩固前面学过的东西，用前面学过的内容编写Scala程序，掌握DataFrame的常用操作。

• 实验名称RDD转DataFrame
• 实验描述巩固前面学过的东西，用前面学过的内容编写Scala程序，掌握并理解从RDD转换的到DataFrame的方法和过程。

• 实验名称读取数据库数据
• 实验描述巩固前面学过的东西，用前面学过的内容编写Scala程序，掌握SparkSQL对数据库数据的读写操作。

• 实验名称创建StreamingContext对象
• 实验描述巩固前面学过的东西，用前面学过的内容编写Scala程序，掌握并理解创建StreamingContext对象的方法和过程。

• 实验名称读取文件流
• 实验描述巩固前面学过的东西，用前面学过的内容编写Scala程序，掌握并理解DataFrame读取文件流的方法和操作。

• 实验名称DStream转换操作
• 实验描述巩固前面学过的东西，用前面学过的内容编写Scala程序，掌握DataFrame的转换操作。

• 实验名称DStream窗口操作
• 实验描述巩固前面学过的东西，用前面学过的内容编写Scala程序，掌握并理解DataFrame窗口操作。

• 实验名称DStream读取套接字流
• 实验描述巩固前面学过的东西，用前面学过的内容编写Scala程序，掌握并理解DStream读取套接字流的方法和操作。

• 实验名称DStream输出操作
• 实验描述巩固前面学过的东西，用前面学过的内容编写Scala程序，掌握并理解DataFrame输出操作。

• 实验名称DStream写入数据库
• 实验描述巩固前面学过的东西，用前面学过的内容编写Scala程序，掌握并理解DStream写入数据库操作的方法。