联系我们
第 1 部分: 日活
第 1 章 需求概述
1.1 离线处理架构
1.2 实时处理架构
1.3 需求
第 2 章 模拟数据
2.1 创建父工程
2.2 创建 common 子模块
2.3 创建 mock 子模块
2.3.1 工具类: RandomNumUtil
2.3.2 工具类: RandomDate
2.3.3 工具类: RadomOptions
2.3.4 日志发送工具类: LogUploader
2.3.4 生成日志: JsonMock
第 3 章 启动数据采集服务器
3.1 Spring boot 简介
3.2 快速搭建 Spring boot
3.3 创建 Controller
3.4 部署到 Linux 服务器
第 4 章 使用 Nginx 负载均衡
4.1 Nginx 简介
4.2 Nginx 安装
4.3 配置负载均衡
第 5 章 使用 Spark Streaming 搭建实时处理模块
5.1 创建实现处理模块
5.2 从 Kafka 读取数据并保持到 Redis
5.3 对数据进行清洗和过滤
第 6 章 数据写入到 ElasticSearch
6.1 ElasticSearch 的基本概念回顾
6.2 设计 ES 索引结构
6.3 创建操作 ES 的工具类
6.4 把用户 Startup 信息写入到 ES
第 7 章 提供查询日活和小时明细的接口
7.1 使用 Kibana 查询日活和小时明细
7.2 创建 Spring boot 子模块来提供对外查询接口
7.3 使用 service 层来从 es 读取数据
7.4 定义 Controller 来接收用户请求
第 8 章 可视化展示
第 2 部分 业务数据处理
第 9 章 使用 Canal
9.1 为什么需要 Canal
9.2 Canal 工作原理
9.3 配置 Mysql
9.4 准备数据库数据
9.5 安装 canal 和启动
第 10 章 从 Canal 读取数据到 Kafka
10.1 从 Canal 读取数据
10.2 读取的数据发送到 Kafka
第 11 章 从 Kafka 读取订单数据并写入到 ES
11.1 从 Kafka 读取数据
11.2 写入数据到 ES
第 12 章 发布数据
12.1 查询 DSL 语句
12.2 开发对外接口
12.3 图形化展示
第 3 部分 灵活查询
第 13 章 灵活查询用户的购买行为
13.1 思路分析
13.2 T+1 业务数据的数据流程
13.2.1 准备 ODS 层
13.2.2 准备 DWD 层
13.2.3 准备 DWS 层
第 14 章 数仓中数据导入到 ES
14.1 创建 idea 模块
14.2 完成从 dw 到 es 的业务代码
第 15 章 发布灵活查询用到的数据
15.1 在 gmall-publish 子模块中读取 ES 中数据
15.2 在 Controller 中年添加对外访问接口
第 16 章 可视化展示
本书使用 GitBook 发布
第 16 章 可视化展示
第 16 章 可视化展示
results matching "
"
No results matching "
"
