精通Spark数据科学

第 1章　数据科学生态系统 1

1.1　大数据生态系统简介　1

1.1.1　数据管理　2

1.1.2　数据管理职责　2

1.1.3　合适的工具　4

1.2　数据架构　4

1.2.1　数据采集　5

1.2.2　数据湖　6

1.2.3　数据科学平台　7

1.2.4　数据访问　8

1.3　数据处理技术　8

1.4　配套工具　10

1.4.1　Apache HDFS　10

1.4.2　亚马逊S3　12

1.4.3　Apache Kafka　13

1.4.4　Apache Parquet　14

1.4.5　Apache Avro　15

1.4.6　Apache NiFi　16

1.4.7　Apache YARN　17

1.4.8　Apache Lucene　18

1.4.9　Kibana　19

1.4.10　Elasticsearch　20

1.4.11　Accumulo　21

1.5　小结　22

第 2章　数据获取　23

2.1　数据管道　23

2.1.1　通用采集框架　24

2.1.2　GDELT数据集简介　25

2.2　内容登记　32

2.2.1　选择和更多选择　32

2.2.2　随流而行　32

2.2.3　元数据模型　33

2.2.4　Kibana仪表盘　35

2.3　质量保证　36

2.3.1　案例1——基本质量检查，无争用用户　36

2.3.2　案例2——进阶质量检查，无争用用户　36

2.3.3　案例3——基本质量检查，50%使用率争用用户　37

2.4　小结　37

第3章　输入格式与模式　39

3.1　结构化的生活是美好的生活　40

3.2　GDELT维度建模　40

3.3　加载数据　48

3.3.1　模式敏捷性　49

3.3.2　GKG ELT　51

3.4　Avro　54

3.4.1　Spark-Avro方法　55

3.4.2　教学方法　57

3.4.3　何时执行Avro转换　61

3.5　Apache Parquet　62

3.6　小结　63

第4章　探索性数据分析　64

4.1　问题、原则与规划　65

4.1.1　理解EDA问题　65

4.1.2　设计原则　65

4.1.3　探索的总计划　66

4.2　准备工作　67

4.2.1　基于掩码的数据剖析简介　67

4.2.2　字符类掩码简介　71

4.2.3　构建基于掩码的剖析器　73

4.3　探索GDELT　86

4.4　小结　107

第5章　利用Spark进行地理分析　108

5.1　GDELT和石油　108

5.1.1　GDELT事件　109

5.1.2　GDELT GKG　110

5.2　制订行动计划　110

5.3　GeoMesa　111

5.3.1　安装　112

5.3.2　GDELT采集　112

5.3.3　GeoMesa采集　113

5.3.4　GeoHash　117

5.3.5　GeoServer　120

5.4　计量油价　123

5.4.1　使用GeoMesa查询API　123

5.4.2　数据准备　125

5.4.3　机器学习　130

5.4.4　朴素贝叶斯　131

5.4.5　结果　132

5.4.6　分析　133

5.5　小结　134

第6章　采集基于链接的外部数据　135

6.1　构建一个大规模的新闻扫描器　135

6.1.1　访问Web内容　136

6.1.2　与Spark集成　138

6.1.3　创建可扩展的生产准备库　139

6.2　命名实体识别　142

6.2.1　Scala库　143

6.2.2　NLP攻略　143

6.2.3　构建可扩展代码　146

6.3　GIS查询　148

6.3.1　GeoNames数据集　148

6.3.2　构建高效的连接　149

6.3.3　内容除重　153

6.4　名字除重　154

6.4.1　用Scalaz进行函数式编程　155

6.4.2　简单清洗　158

6.4.3　DoubleMetaphone算法　158

6.5　新闻索引仪表板　160

6.6　小结　162

第7章　构建社区　163

7.1　构建一个人物图谱　163

7.1.1　联系链　164

7.1.2　从Elasticsearch中提取数据　166

7.2　使用Accumulo数据库　168

7.2.1　设置Accumulo　168

7.2.2　单元级安全　169

7.2.3　迭代器　170

7.2.4　从Elasticsearch到Accumulo　170

7.2.5　从Accumulo读取　173

7.2.6　AccumuloGraphxInputFormat和EdgeWritable　175

7.2.7　构建图　175

7.3　社区发现算法　177

7.3.1　Louvain算法　177

7.3.2　加权社区聚类　178

7.4　GDELT数据集　193

7.4.1　Bowie 效应　194

7.4.2　较小的社区　195

7.4.3　使用Accumulo单元级的安全性　196

7.5　小结　197

第8章　构建推荐系统　198

8.1　不同的方法　198

8.1.1　协同过滤　199

8.1.2　基于内容的过滤　199

8.1.3　自定义的方法　199

8.2　信息不完整的数据　200

8.2.1　处理字节　200

8.2.2　创建可扩展的代码　203

8.2.3　从时域到频域　204

8.3　构建歌曲分析器　209

8.4　构建一个推荐系统　214

8.4.1　PageRank算法　214

8.4.2　构建个性化的播放列表　217

8.5　扩大“蛋糕厂”规模　217

8.5.1　构建播放列表服务　217

8.5.2　应用Spark任务服务器　219

8.5.3　用户界面　223

8.6　小结　224

第9章　新闻词典和实时标记系统　226

9.1　土耳其机器人　226

9.1.1　人类智能任务　227

9.1.2　引导分类模型　227

9.1.3　懒惰、急躁、傲慢　233

9.2　设计Spark Streaming应用　234

9.2.1　两个架构的故事　234

9.2.2　Lambda架构的价值　237

9.2.3　Kappa架构的价值　239

9.3　消费数据流　240

9.3.1　创建GDELT数据流　240

9.3.2　创建Twitter数据流　242

9.4　处理Twitter数据　243

9.4.1　提取URL和主题标签　244

9.4.2　保存流行的主题标签　245

9.4.3　扩展缩短的URL　246

9.5　获取HTML内容　248

9.6　使用Elasticsearch作为缓存层　249

9.7　分类数据　252

9.7.1　训练朴素贝叶斯模型　253

9.7.2　确保线程安全　254

9.7.3　预测GDELT数据　255

9.8　Twitter土耳其机器人　256

9.9　小结　258

第 10章　故事除重和变迁　260

10.1　检测近似重复　260

10.1.1　从散列开始第 一步　262

10.1.2　站在“互联网巨人”的肩膀上　263

10.1.3　检测GDELT中的近似重复　266

10.1.4　索引GDELT数据库　271

10.2　构建故事　275

10.2.1　构建词频向量　275

10.2.2　维度灾难，数据科学之痛　277

10.2.3　优化KMeans　278

10.3　故事变迁　281

10.3.1　平衡态　281

10.3.2　随时间追踪故事　283

10.3.3　构建故事的关联　290

10.4　小结　294

第 11章　情感分析中的异常检测　295

11.1　在Twitter上追踪美国大选　296

11.1.1　流式获取数据　296

11.1.2　成批获取数据　297

11.2　情感分析　300

11.2.1　格式化处理Twitter数据　300

11.2.2　使用斯坦福NLP　302

11.2.3　建立管道　304

11.3　使用Timely作为时间序列数据库　306

11.3.1　存储数据　306

11.3.2　使用Grafana可视化情感　309

11.4　Twitter与戈德温（Godwin）点　311

11.4.1　学习环境　311

11.4.2　对模型进行可视化　314

11.4.3　Word2Graph和戈德温点　315

11.5　进入检测讽刺的一小步　320

11.5.1　构建特征　320

11.5.2　检测异常　324

11.6　小结　325



第 12章　趋势演算　326

12.1　研究趋势　327

12.2　趋势演算算法　328

12.2.1　趋势窗口　328

12.2.2　简单趋势　331

12.2.3　用户定义聚合函数　332

12.2.4　简单趋势计算　337

12.2.5　反转规则　339

12.2.6　FHLS条状图介绍　341

12.2.7　可视化数据　343

12.3　实际应用　351

12.3.1　算法特性　352

12.3.2　潜在的用例　352

12.4　小结　353

第 13章　数据保护　354

13.1　数据安全性　354

13.1.1　存在的问题　355

13.1.2　基本操作　355

13.2　认证和授权　356

13.3　访问　358

13.4　加密　359

13.4.1　数据处于静态时　359

13.4.2　数据处于传输时　368

13.4.3　混淆/匿名　369

13.4.4　遮罩　372

13.4.5　令牌化　375

13.5　数据处置　377

13.6　Kerberos认证　378

13.6.1　用例1：Apache Spark在受保护的HDFS中访问数据　379

13.6.2　用例2：扩展到自动身份验证　381

13.6.3　用例3：从Spark连接到安全数据库　381

13.7　安全生态　383

13.7.1　Apache Sentry　383

13.7.2　RecordService　384

13.8　安全责任　385

13.9　小结　386

第 14章　可扩展算法　387

14.1　基本原则　387

14.2　Spark架构　390

14.2.1　Spark的历史　390

14.2.2　动态组件　391

14.3　挑战　395

14.3.1　算法复杂性　395

14.3.2　数值异常　395

14.3.3　洗牌　398

14.3.4　数据模式　398

14.4　规划你的路线　399

14.5　设计模式和技术　409

14.5.1　Spark API　410

14.5.2　摘要模式　411

14.5.3　扩展并解决模式　411

14.5.4　轻量级洗牌　412

14.5.5　宽表模式　414

14.5.6　广播变量模式　415

14.5.7　组合器模式　416

14.5.8　集群优化　420

14.5.9　再分配模式　422

14.5.10　加盐键模式　423

14.5.11　二次排序模式　424

14.5.12　过滤过度模式　426

14.5.13　概率算法　426

14.5.14　选择性缓存　427

14.5.15　垃圾回收　428

14.5.16　图遍历　429

14.6　小结　430