“十三五”高等学校规划教材:大数据导论

第1章 概论 1

1.1什么是大数据 1

1.1.1大数据产生的背景 1

1.1.2大数据的概念及特征 5

1.2大数据带来的变革 7

1.3大数据的价值与挑战 9

1.3.1大数据的价值 9

1.3.2大数据时代面临的新挑战 10

1.4大数据的相关技术 12

1.4.1大数据存储和管理技术 14

1.4.2大数据分析技术 20

1.4.3大数据处理工具与平台 21

1.5大数据的处理流程 22

1.5.1数据抽取与集成 22

1.5.2数据分析 23

1.5.3数据解释 23

1.5.4大数据处理模型 24

1.6大数据的发展机遇 28

习题 29

第2章 大数据存储 30

2.1大数据存储概述 30

2.2传统的大数据存储系统 30

2.3分布式文件系统 33

2.3.1HDFS相关概念 35

2.3.2HDFS分布式文件系统的结构 36

2.3.3HDFS存储原理 37

2.3.4HDFS数据读/写 41

2.4NoSQL数据库 43

2.4.1NoSQL的产生 44

2.4.2NoSQL与RDBMS 45

2.4.3NoSQL的分类 46

2.4.4HBase数据库 47

2.4.5NoSQL与NewSQL 52

习题 53

第3章 大数据处理 55

3.1多处理器技术 55

3.2并行计算 59

3.3MapReduce并行计算技术 65

3.3.1MapReduce简介 65

3.3.2MapReduce编程模型 68

3.3.3Hadoop MapReduce 1 73

3.3.4Yarn/MapReduce2 76

3.3.5MapReduce性能调优 79

习题 82

第4章 大数据分析 83

4.1大数据分析概述 83

4.1.1数据分析的原则 84

4.1.2大数据分析的特点 84

4.1.3大数据分析路线及流程 85

4.1.4大数据分析技术 87

4.1.5大数据分析的难点 90

4.2大数据分析模型 91

4.2.1大数据分析模型建立方法 91

4.2.2分类分析模型 93

4.2.3关联分析模型 94

4.2.4聚类分析模型 95

4.3大数据分析算法 98

4.3.1大数据算法概述 99

4.3.2决策树算法简介 101

4.3.3Apriori算法简介 105

4.3.4K-Means算法简介 109

4.4大数据分析应用 111

4.4.1文本分析 111

4.4.2情感分析 113

4.4.3推荐系统 115

4.5大数据分析常用工具 117

习题 119

第5章 大数据可视化 120

5.1大数据可视化技术概述 120

5.1.1数据可视化简史 120

5.1.2数据可视化的功能 122

5.1.3大数据可视化简介 123

5.2大数据可视化技术基础 126

5.2.1数据可视化流程 126

5.2.2数据可视化编码 128

5.2.3数据可视化设计 132

5.3大数据可视化应用 134

5.3.1文本可视化 135

5.3.2社交网络可视化 138

5.3.3日志数据可视化 140

5.3.4地理信息可视化 140

5.3.5数据可视化交互 141

5.4大数据可视化软件和工具 143

5.4.1大数据可视化软件分类 143

5.4.2科学可视化软件和工具 144

5.4.3可视化分析软件和工具 145

5.4.4信息可视化软件和工具 147

习题 148

第6章 大数据应用 149

6.1互联网行业大数据 149

6.2交通大数据 153

6.3医疗大数据 159

6.4问答系统 164

习题 169

第7章 大数据发展趋势与展望170

7.1 大数据安全与隐私保护170

7.1.1数据安全与隐私保护的现状 170

7.1.2大数据带来的安全挑战 171

7.1.3大数据安全与隐私保护关键技术 172

7.2 大数据共享 174

7.2.1大数据共享面临的挑战 174

7.2.2大数据共享的措施与机制 175

7.3 数据科学 176

7.3.1数据科学的概念 176

7.3.2数据分析的难题 176

习题 177

参考文献 178