Storm实战:构建大数据实时计算
副标题:无
分类号:
ISBN:9787121226496
微信扫一扫,移动浏览光盘
简介
随着大数据实时处理需求的强劲增长,Storm的出现填补了大数据处理生态系统的缺失,并被越来越多的公司所采用。阿里巴巴集团数据平台事业部商家数据业务部正是最早使用Storm的技术团队之一。《Storm实战:构建大数据实时计算 》是一本系统并且具有实践指导意义的Storm工具书和参考书,对Storm整个技术体系进行了全面的讲解,不仅包括对基本概念、特性的介绍,也涵盖了一些原理说明。实战性很强,各章节都提供了一些小案例,同时对于本地,以及集群环境的部署有详细介绍,易于理解,操作性强。《Storm实战:构建大数据实时计算 》一共分为10章:第1章全面介绍了Storm的特性、能解决什么问题,以及和其他流计算系统的对比;第2章通过实际运行一个简单的例子,以及介绍本地环境和集群环境的搭建,让读者对Storm有了直观的认识;第3章深入讲解了Storm的基本概念,同时实现一个Topology运行;第4章和第5章阐述了Storm的并发度、可靠处理的特性;第6章~第8章详细而系统地讲解了几个高级特性:事务、DRPC和Trident;第9章以实例的方式讲解了Storm在实际业务场景中的应用;第10章总结了几个在大数据场景应用过程中遇到的经典问题,以及详细的排查过程。
目录
第1 章 Storm 基础 1
1.1 Storm 能做什么 ............................................... 2
1.2 Storm 特性 ...................................................... 3
1.3 其他流计算系统 .............................................. 8
1.4 应用模式 ....................................................... 13
第2 章 Storm 初体验 17
2.1 本地环境搭建 ............................................... 18
2.2 Storm 集群 .................................................... 25
第3 章 构建Topology 41
3.1 Storm 基本概念 ............................................. 42
3.2 构建Topology ............................................... 53
3.3 小结 .............................................................. 61
第4 章 Topology 的并行度 62
4.1 并行元素 ....................................................... 63
4.2 配置并行度 ................................................... 65
4.3 一个运行中Topology 的例子 ....................... 68
4.4 如何更新运行中的Topology 的并行度 ........ 71
第5 章 消息的可靠处理 73
5.1 简介 .............................................................. 74
5.2 理解消息被完整处理 .................................... 74
5.3 消息的生命周期 ............................................ 76
5.4 可靠相关的API ............................................ 79
5.5 高效地实现tuple tree .................................... 84
5.6 选择合适的可靠性级别 ................................ 87
5.7 集群的各级容错 ............................................ 89
5.8 小结 .............................................................. 91
第6 章 一致性事务 92
6.1 简单设计一:强顺序流 ................................ 93
6.2 简单设计二:强顺序batch 流 ...................... 95
6.3 CoordinateBolt 的原理 .................................. 96
6.4 Transactional Topology .................................. 98
第7 章 DRPC 105
7.1 Storm DRPC ................................................ 106
7.2 总体概述 ..................................................... 106
7.3 LinearDRPCTopologyBuilder ...................... 108
7.4 本地模式DRPC .......................................... 110
7.5 远程模式DRPC .......................................... 111
7.6 一个复杂的例子 .......................................... 113
7.7 非线性DRPC 拓扑 ..................................... 117
7.8 LinearDRPCTopologyBuilder 工作过程 ...... 117
7.9 高级进阶 ..................................................... 118
第8 章 Trident 的特性 119
8.1 理解Trident ................................................ 120
8.2 结合多个Trident 任务 ................................ 124
8.3 消费和生产Field ........................................ 126
8.4 State(状态保存) ...................................... 128
8.5 Trident Topology 的执行过程 ...................... 136
8.6 总结 ............................................................ 137
第9 章 Storm 实例 138
9.1 一个简单的实例 .......................................... 139
9.2 复杂一点的实例 .......................................... 150
9.3 其他 ............................................................ 161
第10 章 常见应用问题分析 162
10.1 性能问题排查与定位 ................................ 163
10.2 系统中常见的问题与排查 ......................... 167
10.3 业务问题的定位与排查 ............................ 170
1.1 Storm 能做什么 ............................................... 2
1.2 Storm 特性 ...................................................... 3
1.3 其他流计算系统 .............................................. 8
1.4 应用模式 ....................................................... 13
第2 章 Storm 初体验 17
2.1 本地环境搭建 ............................................... 18
2.2 Storm 集群 .................................................... 25
第3 章 构建Topology 41
3.1 Storm 基本概念 ............................................. 42
3.2 构建Topology ............................................... 53
3.3 小结 .............................................................. 61
第4 章 Topology 的并行度 62
4.1 并行元素 ....................................................... 63
4.2 配置并行度 ................................................... 65
4.3 一个运行中Topology 的例子 ....................... 68
4.4 如何更新运行中的Topology 的并行度 ........ 71
第5 章 消息的可靠处理 73
5.1 简介 .............................................................. 74
5.2 理解消息被完整处理 .................................... 74
5.3 消息的生命周期 ............................................ 76
5.4 可靠相关的API ............................................ 79
5.5 高效地实现tuple tree .................................... 84
5.6 选择合适的可靠性级别 ................................ 87
5.7 集群的各级容错 ............................................ 89
5.8 小结 .............................................................. 91
第6 章 一致性事务 92
6.1 简单设计一:强顺序流 ................................ 93
6.2 简单设计二:强顺序batch 流 ...................... 95
6.3 CoordinateBolt 的原理 .................................. 96
6.4 Transactional Topology .................................. 98
第7 章 DRPC 105
7.1 Storm DRPC ................................................ 106
7.2 总体概述 ..................................................... 106
7.3 LinearDRPCTopologyBuilder ...................... 108
7.4 本地模式DRPC .......................................... 110
7.5 远程模式DRPC .......................................... 111
7.6 一个复杂的例子 .......................................... 113
7.7 非线性DRPC 拓扑 ..................................... 117
7.8 LinearDRPCTopologyBuilder 工作过程 ...... 117
7.9 高级进阶 ..................................................... 118
第8 章 Trident 的特性 119
8.1 理解Trident ................................................ 120
8.2 结合多个Trident 任务 ................................ 124
8.3 消费和生产Field ........................................ 126
8.4 State(状态保存) ...................................... 128
8.5 Trident Topology 的执行过程 ...................... 136
8.6 总结 ............................................................ 137
第9 章 Storm 实例 138
9.1 一个简单的实例 .......................................... 139
9.2 复杂一点的实例 .......................................... 150
9.3 其他 ............................................................ 161
第10 章 常见应用问题分析 162
10.1 性能问题排查与定位 ................................ 163
10.2 系统中常见的问题与排查 ......................... 167
10.3 业务问题的定位与排查 ............................ 170
Storm实战:构建大数据实时计算
光盘服务联系方式: 020-38250260 客服QQ:4006604884
云图客服:
用户发送的提问,这种方式就需要有位在线客服来回答用户的问题,这种 就属于对话式的,问题是这种提问是否需要用户登录才能提问
Video Player
×
Audio Player
×
pdf Player
×