悦读书科技分会场,每满100减30,多买多减Flume:构建高可用、可扩展的海量日志采集系统
副标题:无
作 者:Hari Shreedharan(哈里·史瑞德哈伦) 著,马延辉,史东杰 译
分类号:
ISBN:9787121265587
微信扫一扫,移动浏览光盘
简介
本书从Flume 的基本概念和设计原理开始讲解,分别介绍了不同种类的组件、如何配置 组件、如何运行Flume Agent 等。同时,分别讨论Source、Channel 和Sink 三种核心组件,不仅仅阐述每个组件的基本概念,而且结合实际的编程案例,深入、全面地介绍每个组件的详细用法,并且这部分内容也是整个Flume 框架的重中之重。之后,讲解拦截器、Channel选择器、Sink 组和Sink 处理器等内容,它们为Flume 提供灵活的扩展支持。最后,介绍了Flume 的高级使用,如何使用Flume 软件开发工具集(SDK)和Embedded Agent API,如何设计、部署和监控Flume 生产集群。 总而言之,本书是一本理论结合实战,深度、广度兼备的海量日志采集系统的著作。
目录
译者序
序
前言
第1章 认识Apache Hadoop和Apache HBase
分布式文件系统HDFS
HDFS 的数据格式
处理HDFS 中的数据
Apache HBase
总结
参考文献
第2章 用Apache Flume 处理流数据
我们需要Flume
Flume 是否适合呢?
Flume Agent 内部原理
配置Flume Agent
Flume Agent 之间的相互通信
复杂的流
复制数据到不同目的地
动态路由
Flume 的无数据丢失保证,Channel 和事务
Flume Channel 中的事务
Agent 失败和数据丢失
批量的重要性
重复怎么样?
运行Flume Agent
总结
参考文献
第3章 源(Source)
Source 的生命周期
Sink-to-Source 通信
Avro Source
Thrift Source
RPC Sources 的失败处理
HTTP Source
针对HTTP Source 写处理程序*
Spooling Directory Source
使用Deserializers 读取自定义格式*
Spooling Directory Source 性能
Syslog Source
Exec Source
JMS Source
转换JMS 消息为Flume 事件*
编写自定义Source*
Event-Driven Source 和Pollable Source
总结
参考文献
第4章 Channel
事务工作流
Flume 自带的Channel
Memory Channel
File Channel
总结
参考文献
第5章 Sink
Sink 的生命周期
优化Sink 的性能
写入到HDFS
序
前言
第1章 认识Apache Hadoop和Apache HBase
分布式文件系统HDFS
HDFS 的数据格式
处理HDFS 中的数据
Apache HBase
总结
参考文献
第2章 用Apache Flume 处理流数据
我们需要Flume
Flume 是否适合呢?
Flume Agent 内部原理
配置Flume Agent
Flume Agent 之间的相互通信
复杂的流
复制数据到不同目的地
动态路由
Flume 的无数据丢失保证,Channel 和事务
Flume Channel 中的事务
Agent 失败和数据丢失
批量的重要性
重复怎么样?
运行Flume Agent
总结
参考文献
第3章 源(Source)
Source 的生命周期
Sink-to-Source 通信
Avro Source
Thrift Source
RPC Sources 的失败处理
HTTP Source
针对HTTP Source 写处理程序*
Spooling Directory Source
使用Deserializers 读取自定义格式*
Spooling Directory Source 性能
Syslog Source
Exec Source
JMS Source
转换JMS 消息为Flume 事件*
编写自定义Source*
Event-Driven Source 和Pollable Source
总结
参考文献
第4章 Channel
事务工作流
Flume 自带的Channel
Memory Channel
File Channel
总结
参考文献
第5章 Sink
Sink 的生命周期
优化Sink 的性能
写入到HDFS
光盘服务联系方式: 020-38250260 客服QQ:4006604884
云图客服:
用户发送的提问,这种方式就需要有位在线客服来回答用户的问题,这种 就属于对话式的,问题是这种提问是否需要用户登录才能提问
Video Player
×
Audio Player
×
pdf Player
×