Fluentd(フルーエントディー)。オープンソースログデータ収集管理ツールです。ログなどのデータを収集/JSON変換/転送します。「スキーマレス」「プラグイン機構」「バッファリング機構」などの特徴があります。

オープンソースのログ管理/fluentdとは

Fluentd(フルーエントディー)。オープンソースログデータ収集管理ツールです。ログなどのデータを収集/JSON変換/転送します。「スキーマレス」「プラグイン機構」「バッファリング機構」などの特徴があります。

基本情報

概要

Fluentd(フルエントディー)とは、オープンソースログデータ収集管理ツールです。ログなどのデータを収集/JSON変換/転送します。「スキーマレス」「プラグイン機構」「バッファリング機構」などの特徴があります。

基本説明

Fluentdは、米Treasure Data社が中心となり、「Log everything in JSON」を掲げ、すべてのログをJSONとして扱うことを目的として、オープンソースとして開発されているログ収集管理ツール(ログコレクタデーモン)です。Rubyで実装されています。

Fluentdにインプットされた、すべてのログをJSONに変換し、アウトプットします。インプット/アウトプット部分はモジュール化されており、プラグインモジュールを追加することで、インプット元/アウトプット先を柔軟に追加できるようになっています。

高性能で、高い安定性に達しています。

TOPに戻る

主な特徴

ストリームモデル

「データ入力→変換→転送→合成→出力」という一連の処理を「ストリーム(連続的な流れ)」としてモデル化しています。ログに新たなイベントが追記された時点で、すぐに切り出して、一連の処理を実施します。

ノード設定

ストリームの中に、始点/通過点/終点などに「ノード」を設定し、経路を自由に設定できます。

「INPUT」「BUFFER」「OUTPUT」

fluentdは、ログ管理を「INPUT」「BUFFER」「OUTPUT」の3つの層に分けて管理します。

プラグイン機能

「INPUT」「BUFFER」「OUTPUT」は、それぞれプラグインモジュールで動作します。デフォルトでもいくつかのプラグインが用意されていますが、プラグインを追加することでさらに機能拡張できます。

多くのプラグインがコミュニティによって開発され公開されています。Rubyで、既存プラグイン改造や、新規プラグイン開発もできます。他言語スクリプトプラグインを使って、Ruby以外の言語でも機能拡張できます。

INPUTプラグイン

データ入力元として、「ログファイル」「データベース」「クラウドAPI」「HTTP POST」など、さまざまなデータソースを対象にできます。

BUFFERプラグイン

INPUTプラグインから入力された後、OUTPUTプラグインで出力するまでの間の、データ管理処理を行うプラグインです。Queue(キュー)とChunk(チャンク)という仕組みで管理されます。

BUFFERプラグインは単独で利用するものではなく、アウトプットプラグインに組み込んで利用されます。アウトプットプラグインごとにどの種類のバッファを利用するのか(利用しないか)が指定されています。

指定したOUTPUT先に対する出力が失敗した場合でも、データが紛失されないような仕組みが実装されています。BUFFERとして「メモリ」や「ファイル」を使用します。

OUTPUTプラグイン

OUTPUTプラグインは、収集したデータを用途に応じて出力する機能を実装したプラグインです。

大きな機能として、「イベントデータのフォーマット変換処理」機能と「アウトプット先への出力処理」機能があります。

「ローカルファイル」「別のFluentd」「クラウドAPI」「Apache Hadoop」「MongoDB」「Cassandra」「MySQL」「PostgreSQL」など、さまざまな出力先に対して出力できます。

タグ管理

Fluentdは、インプットされたデータを「タグ」「日時」「レコード」の3つから構成されるJSON形式に変換します。この「タグ」をベースとして、処理の振り分けなどを行うため、「タグ」管理が重要な要素になります。

複数同時処理機能

Fluentdは、複数のINPUT入力を受け付け、複数のOUTPUT先に流し込むことができます。

リアルタイム収集

ストリームモデルにより、大量のデータを安全にリアルタイム収集できます。日本を代表する各種Webサービスでも広く採用されていて、「Webサーバ100台分のログをログサーバ1台にリアルタイム集約する」事例で安定稼働しています。

ログデータをJSON形式に

すべてのデータをJSON形式に変換します。データを構造的に把握でき、後のデータ変換/交換が容易になります。

導入/運用が容易

手軽に利用しやすく、設定しやすくなっています。

TOPに戻る

同様製品(概要情報)

同様な機能を提供する製品として、次のようなものがあります。

オープンソース製品:「Logstash」「Embulk」など。

TOPに戻る

導入事例

使いやすく高性能なログ収集ツールとして、非常に幅広く利用されています。

TOPに戻る

ライセンス情報

Fluentdのライセンスは、「Apache License Version 2.0」です。このライセンスに従うことを条件として、ソースコードの改変と公開が許可されています。

TOPに戻る

ダウンロード

ダウンロードページ

TOPに戻る

情報提供協力

このページは、SRA OSS, Inc. 日本支社の協力により作成しました。SRA OSS, Inc. 日本支社では、Fluentd エンタープライズサポートサービスを提供しています。

TOPに戻る

※定期的にメンテナンスを実施しておりますが、一部情報が古い場合がございます。ご了承ください。

fluentd最新TOPICS

【OSS】日本発のデータ収集ツール「Fluentd」、「Cloud Native Computing Foundation(CNCF)」の管理プロジェクトに---有力OSSの仲間入り(2016年11月10日 10:03)

米Linux Foundationは、11月8日(米国時間)、 オープンソースのデータ収集ツール「Fluentd」が「Cloud Native Computing Foundation(CNCF)」の管理するプロジェクトになったと発表した。 【Fluentdとは】 ・古橋貞之氏が開発を始めたOSS ・米Googleや米Microsoftのクラウドの中でも使われている http://w...

fluentd最新CLOSEUPコラム

  • オープソース書籍(サイド)
  • OSSNEWSに広告を掲載しませんか?

facebook

twitter