日志收集利器fluent-bit:全面解析与应用

"本文主要对fluent-bit特性及使用场景介绍"


1、简介

fluent-bit是一种在Linux,OSX和BSD系列操作系统运行,兼具快速、轻量级日志处理器和转发器。它非常注重性能,通过简单的途径从不同来源收集日志事件。


2、功能

fluent-bit是一个开源的、多平台的、旨在成为像一把瑞士军刀一样进行日志收集和转发。它为我们提供一个终端到终端的解决方案,收集,存储和分析的基础架构。fluent-bit是此管道中是不可或缺的一部分,它可以解决日志收集需求。作为一个开源项目,它已被广泛采用,fluent-bit能够胜任和解决docker和Kubernetes等关键组件的云服务日志记录需求。


3、fluent-bit工作原理

fluent-bit是一个简单日志收集工具,上图就是对它工作流程的全局概述,它通过输入、转换、过滤、缓冲、路由到输出而完成日志的收集。



4、为什么使用fluent-bit

如今,我们环境中的信息源数量正在不断增加,数据收集和日志转发很困难,大规模处理数据收集非常复杂,并且收集和汇总各种数据需要一个专门的工具来处理:

  • 不同的信息来源。
  • 不同的数据格式。
  • 多个目的地。

fluent-bit出于满足对高性能的需求和优化工具,它可以从任何输入源收集数据,统一的数据并将其发送到多个目的地而且支持delimiter、key-value、json等主流格式。比如我们常见的logstash耗费资源严重,filebeat可以作为轻量级日志收集工具,目前只能对接对接到ES、logstash、kafaka、redis而且对数据处理能力有限必须配合大数据平台使用(具体查看:Kubernetes日志收集解决方案)。fluent-bit兼具filebeat的功能,但是filebeat不具备fluent-bit数据处理和路由转发能力,如果我只想简单收集日志,filebeat不能满足,具体请查看:Kubernetes集群环境下fluentd日志收集方案介绍



5、fluentd和fluent-bit的关系及特性

日志收集场景和需求是多变的,为了满足日志收集的灵活性,我们会根据需求选择不同的插件,比如:ELK常见解决方案Kubernetes日志收集解决方案,当前我们主要介绍fluentd和fluent-bit两个开源项目之间的关系及特性,fluentd和fluent-bit都是有Treasure Data公司赞助开发,目标是解决日志收集、处理和转发。

这两个项目有很多相似之处,fluent-bit完全基于Fluentd体系结构和设计经验。从体系结构的角度来看,选择使用哪个取决于使用场景,我们可以考虑:

  • Fluentd是日志收集器,处理器和聚合器。
  • fluent-bit是一个日志收集器和处理器(它没有Fluentd等强大的聚合功能)。
fluentdfluent-bit
范围容器/服务器容器/服务器
语言C和RubyC
大小约40MB约450KB
性能高性能高性能
依赖关系作为Ruby Gem构建,主要依赖gems除了一些安装编译插件(GCC、CMAKE)其它零依赖。
插件支持超过650个可用插件大约35个可用插件
许可证Apache许可证2.0版Apache许可证2.0版

根据两个组件不同特点可以考虑将Fluentd主要用作聚合器,将fluent-bit作为日志转发器,两个项目相互补充,从而提供了完整的可靠轻量级日志解决方案,当然fluent-bit也可以独立完成日志收集。



6、fluent-bit支持平台

操作系统平台cpu架构
LinuxCentos 7x86_64
Debian 8 (Jessie)x86_64
Debian 9 (Stretch)x86_64
Raspbian 8 (Debian Jessie)AArch32
Raspbian 9 (Debian Stretch)AArch32
Ubuntu 16.04 (Xenial Xerus)x86_64
Ubuntu 18.04 (Bionic Beaver)x86_64

从体系结构支持的角度来看,fluent-bit在基于x86,x86_64,AArch32和AArch64的处理器上具有全部功能。fluent-bit也可以在OSX和*BSD系统上工作,但并非所有插件在所有平台上都可用。官方支持将根据社区需求而扩大。



7、下载地址及参考文档

http://fluentbit.io/download/

https://docs.fluentbit.io/manual/


8、总结

本文主要介绍了fluent-bit特性及功能

免责声明:本文系网络转载或改编,未找到原创作者,版权归原作者所有。如涉及版权,请联系删

QR Code
微信扫一扫,欢迎咨询~

联系我们
武汉格发信息技术有限公司
湖北省武汉市经开区科技园西路6号103孵化器
电话:155-2731-8020 座机:027-59821821
邮件:tanzw@gofarlic.com
Copyright © 2023 Gofarsoft Co.,Ltd. 保留所有权利
遇到许可问题?该如何解决!?
评估许可证实际采购量? 
不清楚软件许可证使用数据? 
收到软件厂商律师函!?  
想要少购买点许可证,节省费用? 
收到软件厂商侵权通告!?  
有正版license,但许可证不够用,需要新购? 
联系方式 155-2731-8020
预留信息,一起解决您的问题
* 姓名:
* 手机:

* 公司名称:

姓名不为空

手机不正确

公司不为空