Hadoop开源云计算平台

《hadoop开源云计算平台》

第1章云计算背景与hadoop

1.1云计算起源与发展历程

1.2云计算定义与体系

1.3云计算关键技术

1.3.1虚拟化技术

1.3.2分布式计算和并行计算

1.3.3分布式存储

1.3.4分布式海量数据管理

1.4hadoop与云计算

1.5谁在使用hadoop

1.5.1外国hadoop应用

1.5.2国内hadoop应用

第2章hadoop概述

2.1hadoop起源及简介

2.2hadoop发展历程与现状

2.3hadoop的总体结构与模块简介

2.4小结

第3章hadoop伪分布式文件系统

3.1引言

.3.2hdfs构架设计

3.2.1前提和设计目标

3.2.2namenode和datanode

3.2.3文件系统的命名空间

3.2.4数据复制

3.2.5副本存放

3.2.6副本选择

3.2.7安全模式

3.2.8文件系统元数据的持久化

3.2.9通信协议

3.2.10健壮性

3.2.11数据组织

3.2.12可访问性

3.2.13空间的回收

3.3hadoop分布式文件系统的使用

3.3.1web接口

3.3.2shell命令

3.3.3dfsadmin命令

3.3.4secondary namenode

3.3.5rebalancer

3.3.6机架感知

3.3.7安全模式

3.3.8fsck

3.3.9升级和回滚

3.3.10文件权限和安全性

3.3.11可扩展性

3.4hdfs权限管理

3.4.1用户身份

3.4.2理解系统的实现

3.4.3超级用户

3.4.4web服务器

3.4.5在线升级

3.4.6配置参数

3.5hdfs配额管理

3.6hadoop文件归档

3.7hdfs的缺点

3.8小结

第4章hadoopfsshell

4.1引言

4.2fs shell

4.3小结

第5章hadoopmap／reduce

5.1map／reduce简介

5.2map／reduce编程思想

5.3map／reduce引例

5.4 map／reduce核心功能

5.4.1 mapper

5.4.2reducer

5.4.3partitioner

5.4.4reporter

5.4.5outputcollector

5.4.6作业配置

5.4.7任务的执行和环境

5.4.8作业的提交与监控

5.4.9作业的输入

5.4.10作业的输出

5.4.11其他有用的特性

5.5小结

第6章hadoop流与管道机制

6.1概述

6.2hadoop流

6.2.1hadoop流工作机制

6.2.2hadoop流相关选项

6.2.3流应用举例

6.3hadoop管道机制

6.4小结

第7章hadoop输入和输出

7.1map／reduce输入与输出

7.2hdfs的输入和输出

7.2.1从hdfs读取文件

7.2.2给hdfs写入文件

7.3小结

第8章hadoop常用命令

8.1hadoop命令概述

8.2用户命令

8.2.1archive

8.2.2distcp

8.2.3fs

8.2.4fsck

8.2.5jar

8.2.6job

8.2.7pipes

8.2.8 vesion

8.2.9classname

8.3hadoop管理员命令

8.3.1balancer

8.3.2daemonlog

8.3.3datanode

8，3.4dfsadmin

8.3.5jobtracker

8.3.6namenode

8.3.7secondarynamenode

8.3.8tasktracker

8.4小结
第9章hadoop部署与开发

9.1概述

9.2hadoop运行环境

9.2.1hadoop硬件配置

9.2.2hadoop集群大小

9.2.3虚拟化基础承载hadoop

9.2.4软件需求和系统需求

9.3hadoop单机部署

9.3.1安装所需软件

9.3.2本地模式

9.3.3hadoop伪分布式模式

9.4hadoop的完全分布式部署

9.4.1相关配置

9.4.2hadoop启动与停止

9.5hadoop部署示例

9.5.1配置文件

9.5.2启动hadoop与简单测试

9.6hadoop应用程序开发

9.6.1安装hadoop并启动

9.6.2安装eclipse环境

9.6.3开发实例

9.7小结

第10章zookeeper

10.1概述

10.2zookeeper的安装

10.2.1 软件及环境要求

10.2.2独立模式

10.2.3复制模式

10.3zookeeper的设计目标

10.4数据模型和层次名称空间

10.5保证

10.6简单的apl接口

10.7zookeeper实现机制

10.8性能

10.8.1读写性能测试

10.8.2可靠性测试

10.9小结

第11章hbase

11.1hbase简介

11.2hbase中的数据模型

11.3hbase的体系结构

11.4安装部署hbase

11.4.1单机安装

11.4.2分布式安装部署

11.5hbase用户接口

11.5.1shell命令行接口

11.5.2hbase常用java接口

11.6hbase与rdbms的简单比较

11.7小结

第12章pig

12.1pig简介

12.2pig安装和运行

12.2.1pig的安装

12.2.2pig的运行模式

12.2.3运行pig

12.3piglatin脚本语言

12.3.1数据类型

12.3.2pig latin语句

12.3.3piglatin编程示例

12.4利用pig并行处理海量数据

12.4.1pig内置函数

12.4.2 用户自定义函数udf

12.5 小结

第13章hive

13.1hive简介

13.2hive的安装和运行测试

13.3hql语言

13.3.1数据类型和对象

13.3.2hql查询语言

13.4hive应用开发

13.4.1jdbc

13.4.2利用分隔符导人文件

13.4.3deserializer的使用

第14章cloudbase

14.1数据仓库与cloudbase简介

14.2cloudbase系统工作机制简介

14.3cloudbase安装部署

14.3.1部署构架

14.3.2安装cloudbase

14.3.3安装cloudbase客户端

14.4cloudbase中的ansi sql

14.4.1数据类型和对象

14.4.2ansisql语言简介

14.4.3cloudbase相关表操作

14.5基于cloudbase的应用开发

14.5.1使用jdbc

14.5.2利用分隔符导人文件

14.5.3udt的使用

14.5.4databaselink的使用

14.6cloudbase、hive和hbase的比较

14.7小结

第15章mahout

15.1mahout简介

15.2mahout的安装和运行

15.3相关算法简介

15.3.1分类算法简介

15.3.2聚类算法简介

15.3.3模式挖掘

15.3.4 协同过滤

15.4并行分类算法分析与实例

15.4.1并行分类算法分析

15.4.2分类示例

15.5并行聚类算法与实例

15.5.1并行聚类算法分析

15.5.2聚类示例

15.6基于mahout的应用

15.6.1应用构架

15.6.2应用实例

参考文献