微信扫一扫,移动浏览光盘
简介
Spark作为新兴的、应用范围*为广泛的大数据处理开源框架引起了广泛的关注，它吸引了大量程序设计和开发人员进行相关内容的学习与开发，其中MLlib是Spark框架使用的核心。本书是一本细致介绍Spark MLlib程序设计的图书，入门简单，示例丰富。本书分为13章，从Spark基础安装和配置开始，依次介绍MLlib程序设计基础、MLlib的数据对象构建、MLlib中RDD使用介绍，各种分类、聚类、回归等数据处理方法，*后还通过一个完整的实例，回顾了前面的学习内容，并通过代码实现了一个完整的分析过程。本书理论内容由浅而深，采取实例和理论相结合的方式，讲解细致直观，适合Spark MLlib初学者、大数据分析和挖掘人员，也适合高校和培训学习相关专业的师生教学参考。
目录
目 录
第1章 星星之火 1
1.1 大数据时代 1
1.2 大数据分析时代 2
1.3 简单、优雅、有效——这就是Spark3
1.4 核心——MLlib 4
1.5 星星之火，可以燎原 6
1.6 小结 6
第2章 Spark安装和开发环境配置 7
2.1Windows单机模式Spark安装和配置 7
2.1.1Windows 7安装Java 7
2.1.2Windows 7安装Scala 10
2.1.3Intellij IDEA下载和安装 13
2.1.4Intellij IDEA中Scala插件的安装 14
2.1.5HelloJava——使用Intellij IDEA创建Java程序 18
2.1.6HelloScala——使用Intellij IDEA创建Scala程序 21
2.1.7最后一脚——Spark单机版安装 26
2.2 经典的WordCount29
2.2.1Spark实现WordCount 29
2.2.2MapReduce实现WordCount 31
2.3 小结 34
第3章 RDD详解 35
3.1RDD是什么 35
3.1.1RDD名称的秘密 35
3.1.2RDD特性 36
3.1.3与其他分布式共享内存的区别 37
3.1.4RDD缺陷 37
3.2RDD工作原理 38
3.2.1RDD工作原理图 38
3.2.2RDD的相互依赖 38
3.3RDD应用API详解 39
3.3.1使用aggregate方法对给定的数据集进行方法设定 39
3.3.2提前计算的cache方法 42
3.3.3笛卡尔操作的cartesian方法 43
3.3.4分片存储的coalesce方法 44
3.3.5以value计算的countByValue方法 45
3.3.6以key计算的countByKey方法 45
3.3.7除去数据集中重复项的distinct方法 46
3.3.8过滤数据的filter方法 47
3.3.9以行为单位操作数据的flatMap方法 47
3.3.10以单个数据为目标进行操作的map方法 48
3.3.11分组数据的groupBy方法 48
3.3.12生成键值对的keyBy方法 49
3.3.13同时对两个数据进行处理的reduce方法 50
3.3.14对数据进行重新排序的sortBy方法 51
3.3.15合并压缩的zip方法 52
3.4 小结 53
第4章 MLlib基本概念 54
4.1MLlib基本数据类型 54
4.1.1多种数据类型 54
4.1.2从本地向量集起步 55
4.1.3向量标签的使用 56
4.1.4本地矩阵的使用 58
4.1.5分布式矩阵的使用 59
4.2MLlib数理统计基本概念 62
4.2.1基本统计量 62
4.2.2统计量基本数据 63
4.2.3距离计算 64
4.2.4两组数据相关系数计算 65
4.2.5分层抽样 67
4.2.6假设检验 69
4.2.7随机数 70
4.3 小结 71
第5章 协同过滤算法 72
5.1 协同过滤 72
5.1.1协同过滤概述 72
5.1.2基于用户的推荐 73
5.1.3基于物品的推荐 74
5.1.4协同过滤算法的不足 75
5.2 相似度度量 75
5.2.1基于欧几里得距离的相似度计算 75
5.2.2基于余弦角度的相似度计算 76
5.2.3欧几里得相似度与余弦相似度的比较 77
5.2.4第一个例子——余弦相似度实战 77
5.3MLlib中的交替最小二乘法（ALS算法） 80
5.3.1最小二乘法（LS算法）详解 81
5.3.2MLlib中交替最小二乘法（ALS算法）详解 82
5.3.3ALS算法实战 83
5.4 小结 85
第6章 MLlib线性回归理论与实战 86
6.1 随机梯度下降算法详解 86
6.1.1道士下山的故事 87
6.1.2随机梯度下降算法的理论基础 88
6.1.3随机梯度下降算法实战 88
6.2MLlib回归的过拟合 89
6.2.1过拟合产生的原因 90
6.2.2lasso回归与岭回归 91
6.3MLlib线性回归实战 91
6.3.1MLlib线性回归基本准备 91
6.3.2MLlib线性回归实战：商品价格与消费者收入之间的关系 94
6.3.3对拟合曲线的验证 95
6.4 小结 97
第7章 MLlib分类实战 98
7.1 逻辑回归详解 98
7.1.1逻辑回归不是回归算法 98
7.1.2逻辑回归的数学基础 99
7.1.3一元逻辑回归示例 100
7.1.4多元逻辑回归示例 101
7.1.5MLlib逻辑回归验证 103
7.1.6MLlib逻辑回归实例：肾癌的转移判断 104
7.2 支持向量机详解 106
7.2.1三角还是圆 106
7.2.2支持向量机的数学基础 108
7.2.3支持向量机使用示例 109
7.2.4使用支持向量机分析肾癌转移 110
7.3 朴素贝叶斯详解 111
7.3.1穿裤子的男生or女生 111
7.3.2贝叶斯定理的数学基础和意义 112
7.3.3朴素贝叶斯定理 113
7.3.4MLlib朴素贝叶斯使用示例 114
7.3.5MLlib朴素贝叶斯实战：“僵尸粉”的鉴定 115
7.4 小结 117
第8章 决策树与保序回归 118
8.1 决策树详解 118
8.1.1水晶球的秘密 119
8.1.2决策树的算法基础：信息熵 119
8.1.3决策树的算法基础——ID3算法 121
8.1.4MLlib中决策树的构建 122
8.1.5MLlib中决策树示例 123
8.1.6随机雨林与梯度提升算法（GBT） 125
8.2 保序回归详解 127
8.2.1何为保序回归 128
8.2.2保序回归示例 128
8.3 小结 129
第9章 MLlib中聚类详解 130
9.1 聚类与分类 130
9.1.1什么是分类 130
9.1.2什么是聚类 131
9.2 MLlib中的Kmeans算法 131
9.2.1什么是kmeans算法 131
9.2.2MLlib中Kmeans算法示例 133
9.2.3Kmeans算法中细节的讨论 134
9.3 高斯混合聚类 135
9.3.1从高斯分布聚类起步 135
9.3.2混合高斯聚类 137
9.3.3MLlib高斯混合模型使用示例 137
9.4 快速迭代聚类 138
9.4.1快速迭代聚类理论基础 138
9.4.2快速迭代聚类示例 139
9.5 小结 140
第10章 MLlib中关联规则 141
10.1Apriori频繁项集算法 141
10.1.1啤酒与尿布 141
10.1.2经典的Apriori算法 142
10.1.3Apriori算法示例 144
10.2FP-growth算法 145
10.2.1Apriori算法的局限性 145
10.2.2FP-growth算法 145
10.2.3FP树示例 148
10.3小结 149
第11章 数据降维 150
11.1奇异值分解（SVD） 150
11.1.1行矩阵（RowMatrix）详解 150
11.1.2奇异值分解算法基础 151
11.1.3MLlib中奇异值分解示例 152
11.2主成分分析（PCA） 153
11.2.1主成分分析（PCA）的定义 154
11.2.2主成分分析（PCA）的数学基础 154
11.2.3MLlib中主成分分析（PCA）示例 155
11.3小结 156
第12章 特征提取和转换 157
12.1TF-IDF 157
12.1.1如何查找所要的新闻 157
12.1.2TF-IDF算法的数学计算 158
12.1.3MLlib中TF-IDF示例 159
12.2词向量化工具 160
12.2.1词向量化基础 160
12.2.2词向量化使用示例 161
12.3基于卡方检验的特征选择 162
12.3.1“吃货”的苦恼 162
12.3.2MLlib中基于卡方检验的特征选择示例 163
12.4小结 164
第13章 MLlib实战演练——鸢尾花分析166
13.1建模说明 166
13.1.1数据的描述与分析目标 166
13.1.2建模说明 168
13.2数据预处理和分析 171
13.2.1微观分析——均值与方差的对比分析 171
13.2.2宏观分析——不同种类特性的长度计算 174
13.2.3去除重复项——相关系数的确定 176
13.3长与宽之间的关系——数据集的回归分析 180
13.3.1使用线性回归分析长与宽之间的关系 180
13.3.2使用逻辑回归分析长与宽之间的关系 183
13.4使用分类和聚类对鸢尾花数据集进行处理 184
13.4.1使用聚类分析对数据集进行聚类处理 184
13.4.2使用分类分析对数据集进行分类处理 187
13.5最终的判定——决策树测试 188
13.5.1决定数据集的归类——决策树 188
13.5.2决定数据集归类的分布式方法——随机雨林 190
13.6小结 191
【媒体评论】
评论
- 名称
- 类型
- 大小
光盘服务联系方式: 020-38250260 客服QQ：4006604884
云图客服：
用户发送的提问，这种方式就需要有位在线客服来回答用户的问题，这种 就属于对话式的,问题是这种提问是否需要用户登录才能提问
