大数据技术体系与开源生态

目录：

第　一篇 大数据技术体系与开源生态概述



第　1章 大数据技术体系概述　3

1.1　大数据技术的主要内容　3

1.2　大数据开源框架　4

1.2.1　大数据获取技术　4

1.2.2　大数据管理技术　5

1.2.3　大数据处理技术　5

1.2.4　大数据安全与治理技术　5

1.2.5　大数据分析与挖掘技术　6

1.2.6　大数据可视化技术　6

1.3　本章小结　7



第　2章 开源生态与代码托管平台简介　8

2.1　开源和开源软件的简介　8

2.1.1　开源的简介　8

2.1.2　开源软件的简介　8

2.2　开源代码托管平台——GitHub　9

2.3　本章小结　10



第3章　大数据开源生态的介绍　11

3.　1 Apache软件基金会　11

3.1.1　发展历史　11

3.1.2　主要参与者　12

3.1.3　开源项目　13

3.2　Linux 基金会　14

3.2.1　发展历史　15

3.2.2　主要参与者　15

3.2.3　开源项目　17

3.3　开源中国　18

3.3.1　发展历史　18

3.3.2　主要参与者　19

3.4　本章小结　19



第4章　云计算开源生态的介绍　20

4.1　OpenStack 基金会　20

4.1.1　发展历史　21

4.1.2　主要参与者　21

4.1.3　开源项目　22

4.2　Cloud Native Computing Foundation　23

4.2.1　发展历史　23

4.2.2　主要参与者　23

4.2.3　开源项目　25

4.3　本章小结　25



第二篇　大数据获取技术



第5章　消息队列相关技术　29

5.1　ZeroMQ　29

5.1.1　技术概况　29

5.1.2　发展近况和技术优势　30

5.1.3　软件架构　31

5.1.4　应用场景　33

5.2　RabbitMQ　34

5.2.1　技术概况　34

5.2.2　发展近况和技术优势　35

5.2.3　软件架构　36

5.2.4　应用场景　38

5.3　Active MQ　40

5.3.1　技术概况　40

5.3.2　发展近况和技术优势　40

5.3.3　软件架构　42

5.3.4　应用场景　43

5.4　Apache Kafka　44

5.4.1　技术概况　44

5.4.2　发展近况和技术优势　45

5.4.3　软件架构　46

5.4.4　应用场景　47

5.5　本章小结　50



第三篇　大数据管理技术



第6章　数据库相关技术　53

6.1　传统关系型数据库　53

6.1.1　MySQL　53

6.1.2　PostgreSQL　60

6.2　文档型数据库　65

6.2.1　MongoDB　65

6.2.2　Apache CouchDB　69

6.3　列存储数据库　73

6.3.1　Vertica　73

6.3.2　Apache HBase　76

6.4　键/值对型数据库　80

6.4.1　Redis　80

6.4.2　Riak　82

6.5　图形数据库　85

6.5.1　Neo4j　85

6.5.2　OrientDB　90

6.5.3　InfiniteGraph　93

6.6　基于内存的分布式文件系统之Alluxio　95

6.6.1　技术概况　95

6.6.2　发展近况和技术优势　96

6.6.3　软件架构　97

6.6.4　应用场景　98

6.7　数据仓库系统之ApacheTajo　99

6.7.1　技术概况　99

6.7.2　发展近况和技术优势　100

6.7.3　软件架构　101

6.7.4　应用场景　103

6.8　本章小结　105



第7章　大数据平台资源管理技术　106

7.1　Apache ZooKeeper　106

7.1.1　技术概况　106

7.1.2　发展近况和技术优势　107

7.1.3　软件架构　108

7.1.4　应用场景　110

7.2　Apache Hadoop YARN　111

7.2.1　技术概况　111

7.2.2　发展近况和技术优势　112

7.2.3　软件架构　113

7.2.4　应用场景　116

7.3　Apache Mesos　119

7.3.1　技术概况　119

7.3.2　发展近况和技术优势　120

7.3.3　软件架构　120

7.3.4　应用场景　122

7.4　Apache Mnemonic　123

7.4.1　技术概况　123

7.4.2　发展近况和技术优势　124

7.5　本章小结　125



第四篇　大数据处理技术



第8章　开源批处理平台　129

8.1　Apache Hadoop　129

8.1.1　技术概况　129

8.1.2　发展近况和技术优势　130

8.1.3　软件架构　131

8.1.4　应用场景　136

8.2　Apache Spark　142

8.2.1　技术概况　142

8.2.2　发展近况和技术优势　142

8.2.3　软件架构　144

8.2.4　应用场景　146

8.3　Apache Kylin　150

8.3.　1 技术概况　150

8.3.2　发展近况和技术优势　150

8.3.3　软件架构　152

8.3.4　应用场景　153

8.4　本章小结　159



第9章　开源实时处理平台　160

9.1　Apache Storm　160

9.1.1　技术概况　160

9.1.2　发展近况和技术优势　161

9.1.3　软件架构　162

9.1.4　应用场景　163

9.2　Apache Spark Streaming　169

9.2.1　技术概况　169

9.2.2　发展近况和技术优势　170

9.2.3　软件架构　170

9.2.4　应用场景　171

9.3　Apache Flink　173

9.3.1　技术概况　173

9.3.2　发展近况和技术优势　174

9.3.3　软件架构　175

9.3.4　应用场景　176

9.4　Apache Beam　179

9.4.1　技术概况　179

9.4.2　发展近况和技术优势　180

9.4.3　软件架构　181

9.4.4　应用场景　182

9.5　Apache Apex　186

9.5.1　技术概况　186

9.5.2　发展近况和技术优势　187

9.5.3　软件架构　188

9.5.4　应用场景　191

9.6　本章小结　194



第五篇　大数据分析与挖掘技术



第　10章 开源数据分析平台　199

10.1　Apache Mahout　199

10.1.1　技术概况　199

10.1.2　发展近况和技术优势　200

10.1.3　应用场景　202

10.2　Apache Spark MLlib　204

10.2.1　技术概况　204

10.2.2　发展近况和技术优势　204

10.2.3　软件架构　205

10.2.4　应用场景　207

10.3　Apache Lens　208

10.3.1　技术概况　208

10.3.2　发展近况及技术优势　209

10.3.3　软件架构　213

10.3.4　应用场景　214

10.4　Scikit-Learn　217

10.4.1　技术概况　217

10.4.2　发展近况与技术优势　217

10.4.3　软件架构　218

10.4.4　应用场景　220

10.5　本章小结　223



第　11章 开源深度学习平台　225

11.1　TensorFlow　225

11.1.1　技术概况　225

11.1.2　发展近况和技术优势　226

11.1.3　软件架构　226

11.1.4　应用场景　230

11.2　Tensorflow Lite　233

11.2.1　技术概况　233

11.2.2　发展近况和技术优势　233

11.2.3　软件架构　234

11.3　Caffe　237

11.3.1　技术概述　237

11.3.2　发展近况和技术优势　237

11.3.3　软件架构　239

11.3.4　应用场景　241

11.4　PyTorch　243

11.4.1　技术概况　243

11.4.2　发展近况和技术优势　243

11.4.3　软件架构　245

11.4.4　应用场景　247

11.5　本章小结　248



第六篇　大数据可视化与交互技术



第　12章 主流大数据可视化与交互工具　251

12.1　Tableau　251

12.1.1　技术概况　251

12.1.2　发展近况和技术优势　252

12.1.3　软件架构　255

12.1.4　应用场景　256

12.2　Apache Zeppelin　260

12.2.1　技术概况　260

12.2.2　发展近况和技术优势　261

12.2.3　软件架构　262

12.2.4　应用场景　263

12.3　本章小结　266



第　13章 其他大数据可视化与交互工具　267

13.1　Jaspersoft Community　267

13.1.1　技术概况　267

13.1.2　发展近况和技术优势　268

13.1.3　软件架构　270

13.1.4　应用场景　271

13.2　BIRT　274

13.2.1　技术概况　274

13.2.2　发展近况和技术优势　275

13.2.3　软件架构　278

13.2.4　应用场景　280

13.3　KNIME　281

13.3.1　技术概况　281

13.3.2　发展近况和技术优势　281

13.3.3　软件架构　283

13.3.4　应用场景　285

13.4　本章小结　285



第七篇　大数据安全与治理技术



第　14章 大数据治理技术　289

14.1　Apache Falcon　289

14.1.1　技术概况　290

14.1.2　发展近况和技术优势　290

14.1.3　软件架构　292

14.1.4　应用场景　294

14.2　Apache Atlas　297

14.2.1　技术概况　298

14.2.2　发展近况和技术优势　301

14.2.3　软件架构　306

14.3　本章小结　314



第　15章 大数据安全技术　316

15.1　Apache Ranger　316

15.1.1　技术概况　316

15.1.2　发展近况和技术优势　318

15.1.3　软件架构　321

15.1.4　应用场景　322

15.2　Apache Sentry　324

15.2.1　技术概况　324

15.2.2　发展近况和技术优势　326

15.2.3　软件架构　332

15.3　Apache Kerberos　334

15.3.1　技术概况　335

15.3.2　发展近况和技术优势　336

15.3.3　软件架构　337

15.4　Apache Metron　339

15.4.1　技术概况　339

15.4.2　发展近况及技术优势　340

15.4.3　软件架构　344

15.5　Hyperledger　346

15.5.1　技术概况　346

15.5.2　发展近况和技术优势　347

15.5.3　软件架构　348

15.5.4　应用场景　349

15.6　本章小结　351



结束语　353

名词索引 355