简介
本书以Spark 0.9版本为基础进行编写,是一本全面介绍Spark及Spark生态圈相关技术的书籍,是国内首本深入介绍 Spark 原理和架构的技术书籍。主要内容有 Spark 基础功能介绍及内部重要模块分析,包括部署模式、调度框架、存储管理以及应用监控;同时也详细介绍了 Spark 生态圈中其他的软件和模块,包括 SQL 处理引擎 Shark 和 Spark SQL、流式处理引擎 Spark Streaming、图计算框架 Graphx 以及分布式内存文件系统 Tachyon。本书从概念和原理上对 Spark 核心框架和生态圈做了详细的解读,并对 Spark 的应用现状和未来发展做了一定的介绍,旨在为大数据从业人员和 Spark爱好者提供一个更深入学习的平台。 本书适合任何大数据、Spark 领域的从业人员阅读,同时也为架构师、软件开发工程师和大数据爱好者展现了一个现代大数据框架的架构原理和实现细节。相信通过学习本书,读者能够熟悉和掌握 Spark 这一当前流行的大数据框架,并将其投入到生产实践中去。
目录
第1章 Spark系统概述
1.1 大数据处理框架
1.2 Spark大数据处理框架
1.2.1 RDD表达能力
1.2.2 Spark子系统
1.3 小结
第2章 Spark RDD及编程接口
2.1 Spark程序“Hello World”
2.2 Spark RDD
2.2.1 RDD分区(partitions)
2.2.2 RDD优先位置(preferredLocations)
2.2.3 RDD依赖关系(dependencies)
2.2.4 RDD分区计算(compute)
2.2.5 RDD分区函数(partitioner)
2.3 创建操作
2.3.1 集合创建操作
2.3.2 存储创建操作
2.4 转换操作
2.4.1 RDD基本转换操作
2.4.2 键值RDD转换操作
2.4.3 再论RDD依赖关系
2.5 控制操作(control operation)
2.6 行动操作(action operation)
2.6.1 集合标量行动操作
2.6.2 存储行动操作
2.7 小结
第3章 Spark运行模式及原理
3.1 Spark运行模式概述
3.1.1 Spark运行模式列表
3.1.2 Spark基本工作流程
3.1.3 相关基本类
3.2 Local模式
3.2.1 部署及程序运行
3.2.2 内部实现原理
3.3 Standalone模式
3.3.1 部署及程序运行
3.3.2 内部实现原理
3.4 Local cluster模式
3.4.1 部署及程序运行
……
第4章 Spark调度管理原理
第5章 Spark的存储管理
第6章 Spark监控管理
第7章 Spark架构与安装配置
第8章 SQL程序扩展
第9章 Spark SQL
第10章 Spark Streaming流数据处理框架
第11章 GraphX计算框架
第12章 Tachyon存储系统
1.1 大数据处理框架
1.2 Spark大数据处理框架
1.2.1 RDD表达能力
1.2.2 Spark子系统
1.3 小结
第2章 Spark RDD及编程接口
2.1 Spark程序“Hello World”
2.2 Spark RDD
2.2.1 RDD分区(partitions)
2.2.2 RDD优先位置(preferredLocations)
2.2.3 RDD依赖关系(dependencies)
2.2.4 RDD分区计算(compute)
2.2.5 RDD分区函数(partitioner)
2.3 创建操作
2.3.1 集合创建操作
2.3.2 存储创建操作
2.4 转换操作
2.4.1 RDD基本转换操作
2.4.2 键值RDD转换操作
2.4.3 再论RDD依赖关系
2.5 控制操作(control operation)
2.6 行动操作(action operation)
2.6.1 集合标量行动操作
2.6.2 存储行动操作
2.7 小结
第3章 Spark运行模式及原理
3.1 Spark运行模式概述
3.1.1 Spark运行模式列表
3.1.2 Spark基本工作流程
3.1.3 相关基本类
3.2 Local模式
3.2.1 部署及程序运行
3.2.2 内部实现原理
3.3 Standalone模式
3.3.1 部署及程序运行
3.3.2 内部实现原理
3.4 Local cluster模式
3.4.1 部署及程序运行
……
第4章 Spark调度管理原理
第5章 Spark的存储管理
第6章 Spark监控管理
第7章 Spark架构与安装配置
第8章 SQL程序扩展
第9章 Spark SQL
第10章 Spark Streaming流数据处理框架
第11章 GraphX计算框架
第12章 Tachyon存储系统
Spark大数据处理技术
光盘服务联系方式: 020-38250260 客服QQ:4006604884
云图客服:
用户发送的提问,这种方式就需要有位在线客服来回答用户的问题,这种 就属于对话式的,问题是这种提问是否需要用户登录才能提问
Video Player
×
Audio Player
×
pdf Player
×