hive滴滴数仓实战方案

课程大纲

• 第1章项目业务背景介绍
•     第1节 项目业务背景介绍
  视频名称:1.滴滴数仓-日志分析.wmv

• 第2章构建数据仓库
•     第1节 数仓分层建库
  视频名称:2.滴滴数仓-数仓分层建库.wmv

• 第3章创建表
•     第1节 ods建表

• 第4章添加分区
•     第1节 ods分区

• 第5章数据上传HDFS
•     第1节 ods上传数据

• 第6章数据预处理
•     第1节 数据处理及查询
•     第2节 order数据处理并写入宽表

• 第7章订单分析
•     第1节 总订单笔数分析
•     第2节 预约订单/非预约订单占比分析
•     第3节 不同时段订单占比分析
•     第4节 不同地域订单占比分析（省份）
•     第5节 不同年龄段订单占比分析

• 第8章sqoop数据导出
•     第1节 sqoop数据导出

• 第9章Superset对分析指标可视化
•     第1节 Superset对分析指标可视化

实验列表

• 实验名称构建数据仓库
• 实验描述为了方便组织、管理上述的三类数据，我们将数仓分成不同的层，简单来说，就是分别将三类不同的数据保存在Hive的不同数据库中。

• 实验名称创建表
• 实验描述根据数据创建表

• 实验名称添加分区
• 实验描述大规模数据的处理，必须要构建分区。我们此处的需求每天都会进行数据分析，采用的是T+1的模式。就是假设今天是2020-01-01，那么1月1日的分析结果在第二天才能看到，也就是2020-01-02查看到上一天的数据分析结果。此处，我们采用最常用的分区方式，使用日期来进行分区。

• 实验名称HDFS文件上传
• 实验描述我们已经在Hive中建立好了数据库、表、以及分区。接下来，我们需要将打车的日志数据上传到HDFS分布式文件系统中。然后，我们就可以开始进行数据处理、分析了。

• 实验名称数据处理
• 实验描述现在数据已经准备好了，接下来我们需要对ods层中的数据进行预处理。数据预处理是数据仓库开发中的一个重要环节。目的主要是让预处理后的数据更容易进行数据分析，并且能够将一些非法的数据处理掉，避免影响实际的统计结果。

• 实验名称订单分析
• 实验描述数据分析好了，但要知道，我们处理大规模数据，每次处理都需要占用较长时间，所以，我们可以将计算好的数据，直接保存下来。将来，我们就可以快速查询数据结果了。所以，我们可以提前在app层创建好表。

• 实验名称sqoop导出数据
• 实验描述在分析完核心指标之后，我们需要将指标数据导出到mysql数据库中，便于后续的应用，比如结果指标的可视化。

• 实验名称Superset对分析指标可视化
• 实验描述Superset是一款开源的现代化企业级BI。它是目前开源的数据分析和可视化工具中比较好用的，功能简单但可以满足我们对数据的基本需求，支持多种数据源，图表类型多，易维护，易进行二次开发。 特点： 1. 丰富的数据可视化集 2. 易于使用的界面，用于浏览和可视化数据 3. 创建和共享仪表板 4. 可提供身份验证