「Fluentd」のプラグインシステム

「Fluentd」のプラグインシステム

■概要

Fluentdには500以上のプラグインが用意されており、コアをシンプルに保ちながら、多くのデータソースと出力に接続できます。コミュニティによって開発された多くのプラグインが公開されています。

Rubyで「既存プラグイン改造」「新規プラグイン開発」を行えます。また、他言語スクリプトプラグインを使って、Ruby以外の言語でも開発できます。

→Fluentd　→Plugins(List of All Plugins)

■入力プラグイン

概要

入力プラグインは、Fluentdを拡張して、多様な外部データソースからログを取得します。

→Fluentd　→Input Plugin Overview

プラグインリスト

・アプリケーションログ---Java、Ruby、Python
・ネットワークプロトコル---Syslog、HTTP、TCP、UDP
・IoTデバイス---RasperryPi
・その他---Docker、Twitter、MySQLクエリログ、Windowsイベントログ、AWS CloudWatch　など

→Fluentd　→List of Data Sources

■出力プラグイン

概要

出力プラグインは、収集したデータを用途に応じて出力する機能を提供します。

「同期バッファモード」と「非同期バッファモード」を選択できます。

→Fluentd　→Output Plugin Overview

プラグインリスト

・ログ管理---ElasticSearch+Kibana、Splunk
・ビッグデータ---Hadoop DFS、Treasure Data、MongoDB
・データアーカイブ---File、AWS S3
・PubSub/Queue---AWS Kinesis、Kafka、AMQP、RabbitMQ
・データウェアハウス---BigQuery、MySQL、PostgreSQL、SQL Server、AWS RedShift
・監視システム---Datadog、Zabbix、Mackerel
・ミドルウェア---Norikra、CouchDB、HBase
・通知システム---Email、Slack、IRC、Twilio　など

→Fluentd　→List of Data Outputs

■バッファープラグイン

概要

バッファープラグインは、入力プラグインから出力プラグインに至るまでの間のデータ管理処理を行うプラグインです。

→Fluentd　→Buffer Plugin Overview

■フィルタプラグイン

概要

フィルタプラグインを使用すると、イベントストリームを変更できます。
・1つ以上のフィールドの値をgrepしてイベントをフィルタリング
・新しいフィールドを追加
・特定フィールドの削除(マスク)---プライバシーおよびコンプライアンス対応　など

→Fluentd　→Filter Plugin Overview

プラグインリスト

→Fluentd　→Plugins(List of All Plugins)　→Filter plugins

■パーサープラグイン

概要

パーサープラグインは、ユーザーが独自のパーサー形式を作成できるプラグインです。

→Fluentd　→Parser Plugin Overview

プラグインリスト

→Fluentd　→Plugins(List of All Plugins)　→Parser plugin

■フォーマッタプラグイン

概要

フォーマッタプラグインは、ユーザーがカスタム出力形式を拡張して再利用できるようにするためのプラグインです。

→Fluentd　→Formatter Overview

プラグインリスト

→Fluentd　→Plugins(List of All Plugins)　→Formatter plugin

情報提供協力

このページは、SRA OSS, Inc. 日本支社の協力により作成しました。

参考元サイト

• Fluentd
• GitHub　→fluent/fluentd

※定期的にメンテナンスを実施しておりますが、一部情報が古い場合がございます。ご了承ください。