数据中心资源优化调度理论与实践

第1章云计算概述1
1.1云计算发展背景2
1.2云计算是集大成者4
1.2.1并行计算5
1.2.2网格计算6
1.2.3效用计算6
1.2.4普适计算7
1.2.5SaaS8
1.2.6虚拟化技术8
1.3云计算的驱动因素9
1.3.1云计算发展现状和趋势11
1.3.2云计算应用初步分类14
1.4云计算产业链中的不同角色16
1.5云计算的主要特征和技术挑战17
1.5.1云计算的主要特征17
1.5.2挑战性问题18
1.6小结19
思考题19
参考文献20
第2章数据中心21
2.1数据中心概述22
2.1.1数据中心简介22
2.1.2数据中心的需求和挑战24
2.2云计算数据中心资源调度需求分析25
2.2.1技术需求25
2.2.2技术目标26
2.3云计算数据中心资源调度研究进展26
2.4云计算数据中心资源调度方案分析27
2.4.1Google解决方案27
2.4.2Amazon解决方案28
2.4.3IBM解决方案30
2.4.4HP解决方案32
2.4.5VMware解决方案33
2.4.6其他厂家解决方案35
2.5云计算数据中心资源调度标准进展37
2.6云资源管理调度关键技术及研究热点38
2.7小结41
思考题41
参考文献42
第3章大数据处理45
3.1大数据的发展背景及定义46
3.2大数据问题49
3.2.1速度方面的问题50
3.2.2种类及架构问题51
3.2.3体量及灵活性问题51
3.2.4成本问题52
3.2.5价值挖掘问题53
3.2.6存储及安全问题53
3.2.7互联互通与数据共享问题55
3.3大数据与云计算的辩证关系56
3.4大数据技术57
3.4.1基础架构支持59
3.4.2数据采集61
3.4.3数据存储62
3.4.4数据计算66
3.4.5数据展现与交互74
3.5小结76
思考题77
参考文献77
第4章云资源监控管理80
4.1云数据中心监控系统概述81
4.1.1研究背景81
4.1.2云数据中心资源监控的方式83
4.1.3虚拟机监控简介83
4.2云数据中心监控系统的相关研究86
4.2.1云数据中心监控系统的功能需求分析86
4.2.2实现云监控系统的关键技术89
4.3云数据中心计算资源监控系统的设计与实现93
4.3.1云数据中心计算资源监控系统的设计93
4.3.2云数据中心计算资源监控系统的实现98
4.4云数据中心监控系统数据分析104
4.4.1用户请求展示105
4.4.2用排队论分析用户请求106
4.4.3云数据中心的功耗计算106
4.5云资源监控系统的性能分析与评价110
4.6小结116
思考题117
参考文献117
第5章实时负载均衡调度120
5.1引言121
5.2相关工作121
5.2.1示例说明122
5.2.2问题描述和模型建立123
5.2.3负载均衡调度算法的度量指标125
5.3OLRSA算法127
5.4算法性能比较130
5.4.1模拟设置130
5.4.2模拟仿真的结果和分析131
5.5小结136
思考题137
参考文献137
第6章计算资源节能调度概述139
6.1数据中心节能研究背景140
6.1.1国内外研究背景介绍142
6.1.2国内外主要参考文献143
6.2数据中心能耗模型145
6.2.1数据中心调度系统145
6.2.2数据中心能耗评估146
6.2.3服务器能耗模型148
6.3节能问题描述与建模149
6.3.1前置条件149
6.3.2主要节能调度算法分类151
6.4离线调度算法152
6.4.1同构且请求容量为单位容量152
6.4.2同构且请求容量为任意容量153
6.5在线调度算法154
6.6随机调度算法154
6.6.1M/M/1排队模型154
6.6.2M/M/k排队模型155
6.7节能调度算法评估155
6.7.1理论分析证明155
6.7.2模拟对比分析156
6.8小结164
思考题165
参考文献166
第7章离线和在线节能调度算法169
7.1离线节能调度算法170
7.1.1MFFDE算法分析170
7.1.2MFFDE算法的近似度证明171
7.2在线节能调度算法174
7.2.1BFF算法分析与近似度证明174
7.2.2BFF算法性能评估179
7.3MinTBT问题及节能调度算法在数据中心节能中的应用183
7.4小结184
思考题184
参考文献184
第8章Hadoop集群节能调度管理186
8.1Hadoop介绍187
8.1.1Hadoop简介188
8.1.2Hadoop框架189
8.1.3Hadoop运行流程191
8.2新型动态负反馈调度算法192
8.2.1Hadoop集群动态管理设计特点192
8.2.2负载模型设计193
8.2.3DANF算法设计与实现194
8.2.4动态调度模块算法伪代码196
8.3节能调度系统设计197
8.3.1系统总体架构197
8.3.2模块详细设计198
8.4系统测试和分析201
8.4.1测试环境201
8.4.2程序功能性测试201
8.4.3性能测试202
8.5Hadoop其他节能方式206
8.6小结207
思考题207
参考文献207
第9章计算资源的利润最大化问题209
9.1计算资源作为服务的利润最大化210
9.1.1云计算与数据中心210
9.1.2数据中心的发展213
9.2传统的最大化利润解决方法214
9.2.1经典的0—1背包问题214
9.2.2动态规划法214
9.2.3贪婪算法215
9.2.4回溯法215
9.3区间调度问题介绍216
9.4带权区间调度217
9.4.1传统的带权区间调度问题217
9.4.2WIS中的可相互兼容区间218
9.4.3带权区间调度问题218
9.5考虑容量共享的带权区间调度220
9.5.1考虑容量共享的带权区间调度问题220
9.5.2WISWCS问题中可相互共享兼容的区间220
9.5.3WISWCS问题中的容量分割220
9.5.4WISWCS问题中的权值与容量成比例221
9.5.5最大化利润的公式222
9.5.6一种考虑容量共享的准确调度算法223
9.5.7用SAWIS算法找出最佳子集224
9.6可共享容量调度问题的应用226
9.6.1云计算中的虚拟机调度226
9.6.2通信链路共享226
9.6.3性能评估227
9.7相关工作228
9.8小结228
思考题229
参考文献229
第10章云工作流应用230
10.1科学计算云平台研究背景231
10.2工作流和云平台集成的相关研究工作233
10.3科学计算云平台的结构化方案234
10.3.1需求234
10.3.2架构236
10.3.3集成选项237
10.3.4实现细节240
10.4科学计算云平台集群配置和产品部署244
10.4.1MODIS图片处理工作流244
10.4.2产品部署248
10.5小结250
思考题250
参考文献250
第11章数据中心调度模拟系统255
11.1引言256
11.2CloudSched的架构和主要特点257
11.2.1数据中心的建模260
11.2.2虚拟机分配的建模260
11.2.3用户请求建模261
11.3不同调度算法的性能度量262
11.3.1多维度负载均衡的度量指标262
11.3.2节能算法的度量指标264
11.3.3最大化资源利用率的度量指标265
11.3.4置信区间的度量265
11.4CloudSched的设计与实现266
11.4.1数据中心的调度过程266
11.4.2调度算法——以LIF算法为例266
11.5性能评估269
11.5.1负载均衡比较270
11.5.2节能效果比较271
11.6小结273
参考文献273
第12章总结与展望276
12.1动态多层次分布式资源监控277
12.2动态综合调度策略和算法研发278
12.3多数据中心（多调度域）的调度策略和算法动态可选择280
12.4监控、调度和部署等功能融合282
12.5绿色节能数据中心的综合解决方案283
12.6从基础资源调度拓展到应用任务调度284