您好，登录后才能下订单哦！
密码登录
登录注册
点击 登录注册 即表示同意《亿速云用户服务条款》
1、sources和sinks 使用channels进行链接
2、两个主要channel 。1） in-memorychannel 非持久性支持，速度快。2）JDBC-based channel 持久性支持。
3、不再区分逻辑和物理node，所有物理节点统称为 “agents”,每个agents 都能运行0个或多个sources 和sinks
4、不再需要master节点和对zookeeper的依赖，配置文件简单化。
5、插件化，一部分面对用户，工具或系统开发人员。
6、使用Thrift、Avro Flume sources 可以从Flume0.9.4 发送 events 到Flume 1.x
下图为Flume体系架构
其中相关组件如下：
组件 | 功能 |
Agent | 使用JVM 运行Flume。每台机器运行一个agent，但是可以在一个agent中包含多个sources和sinks。 |
Client | 生产数据，运行在一个独立的线程。 |
Source | 从Client收集数据，传递给Channel。 |
Sink | 从Channel收集数据，运行在一个独立线程。 |
Channel | 连接 sources 和 sinks ，这个有点像一个队列。 |
Events | 可以是日志记录、 avro 对象等。 |
Exec Source 和Spool Source 比较
1）、ExecSource可以实现对日志的实时收集，但是存在Flume不运行或者指令执行出错时，将无法收集到日志数据，无法何证日志数据的完整性。
2）、SpoolSource虽然无法实现实时的收集数据，但是可以使用以分钟的方式分割文件，趋近于实时。
3）、总结：如果应用无法实现以分钟切割日志文件的话，可以两种收集方式结合使用。二、Flume Sink
亿速云「云服务器」，即开即用、新一代英特尔至强铂金CPU、三副本存储NVMe SSD云盘，价格低至29元/月。点击查看>>
开发者交流群：
免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：is@yisu.com进行举报，并提供相关证据，一经查实，将立刻删除涉嫌侵权内容。