LogstashとFilebeatを比較

    「Logstash」と「Filebeat」の概要

    「Logstash」と「Filebeat」は、ログに関して管理および一元化するための方法を提供することにより、保守作業をサポートします。

    ■「Logstash」とは

    Logstash(ログスタッシュ)とは、Elastic社が提供するログ収集管理ツールです。

    サーバサイドデータ処理パイプラインとして、さまざまなデータソースからログを収集し、1つのサーバに集約する機能を提供します。

    収集した各種データを動的に「変換」「統合」「正規化」し、用途にあった統一的なデータフォーマットで任意のデータソースに送信します。

    多様な「入力プラグイン」「フィルタプラグイン」「出力プラグイン」を使用して、どのようなタイプのイベント(ログ)にも対応できます。

    ■「Filebeat」とは

    Filebeat(ファイルビート)とは、Elastic Stackに属する「軽量ログデータ収集ツール」です。

    サーバエージェントとしてインストールされたFilebeatは、指定したログファイルなどを監視し、ログイベントを収集して、インデックス作成のためにElasticsearchやLogstashに転送します。

    メリット比較

    ■Logstash

    ・プラグインが豊富
    ・高い柔軟性
    ・さまざまなユースケースに対応可能
    ・ドキュメントが充実
    ・幅広いコミュニティサポートがある

    ■Filebeat

    ・バイナリが小さい
    ・軽量動作---必要リソースが少ない
    ・依存関係がない
    ・信頼性が高い
    ・SSLおよびTLS暗号化をサポート
    ・優れた組み込みリカバリメカニズムでバックプレッシャをサポート
    ・シンプルに利用できる---「考慮すべきことが少ない」「失敗する可能性が少ない」
    ・ファイルに変更を加える必要がない---「更新されたファイルを積極的に検索」「閉じたファイルを追跡」

    連携使用

    ログを収集管理する場合には、「Filebeat」と「Logstash」を組み合わせて使用するケースが多くあります。

    ■Filebeat

    Filebeatは高機能なログファイルシッパーですが、ログを「分析しやすい構造化ログメッセージ」に変換することはできないため、この機能をLogstashに託します。

    ■Logstash

    Logstashは、アグリゲーターとしてFilebeatからデータを収集した後、「変換」「統合」「正規化」などを実施してデータを整形した後、パイプラインにプッシュします。




    参考サイト
    →educba.com →Filebeat vs Logstash
    →logz.io →Filebeat vs. Logstash: The Evolution of a Log Shipper

    ※定期的にメンテナンスを実施しておりますが、一部情報が古い場合がございます。ご了承ください。

    「Logstash」基本情報

    ■概要

    Logstash(ログスタッシュ)とは、Elastic社が提供するログ収集管理ツールです。サーバサイドデータ処理パイプラインとして、さまざまなデータソースからログを収集し、1つのサーバに集約する機能を提供します。

    ■基本説明

    Logstashは、リアルタイムパイプライニング機能を備えたデータ収集エンジンです。さまざまな異なるデータソースの各種データを動的に変換/統合/正規化し、用途にあった統一的なデータフォーマットで任意のデータソースに送信します。

    多様な「入力プラグイン」「フィルタプラグイン」「出力プラグイン」を使用して、どのようなタイプのイベント(ログ)にも対応できます。

    ■オフィシャルサイト情報

    オフィシャルサイト

    →Elastic →Logstash(データの一元化、変換、保管)

    ライセンス情報

    Logstashのライセンスは「Apache License Version 2.0+他」です。

    詳細について、こちらを参照ください。
    →GitHub →elastic/logstash →LICENSE.txt

    ダウンロード

    →Elastic →Download Logstash

    導入事例

    Logstashは、Elastic社のメインプロダクト「Elasticsearch」と同様に、世界中の企業で利用が進んでいます。

    →Elastic →導入事例(ユーザーストーリー)

    ■同様製品

    同様な機能を提供する製品として、次のようなものがあります。

    オープンソース製品:「Fluentd」「Beats」など。


    概要

    Filebeat(ファイルビート)とは、Elastic Stackに属する「軽量ログデータ収集ツール」です。

    サーバエージェントとしてインストールされたFilebeatは、指定したログファイルなどを監視し、ログイベントを収集して、インデックス作成のためにElasticsearchやLogstashに転送します。

    Elastic Stackファミリー

    Filebeatは、ログ分析ソリューション「Elastic Stack」の一部として構成されています。

    そのため、以下の製品とシームレスに連携します。
    ・サーバ側データ処理パイプライン「Logstash」
    ・分析検索エンジン「Elasticsearch」
    ・データ視覚化ツール「Kibana」 など

    Filebeatを「Elastic Stack」と連携させることで、あらゆるフォーマットでデータを取得し、リアルタイムで「検索」「分析」「可視化」できます。

    →elastic.co →jp →elastic-stack

    Filebeatの仕組み

    Filebeatは基本的に以下の通りに動作します。
    ①サーバエージェントとしてFilebeatを起動
    ②Filebeat:ログデータ用に指定した場所を検索する1つ以上の入力を開始
    ③Filebeat:発見するログごとにハーベスタを開始
    ④各ハーベスタ:ログを読み取り、共通ライブラリ「libbeat」に送信
    ⑤libbeat:イベントを集約し「Filebeat用に構成した出力」に送信

    →elastic.co →guide →beats →filebeat →how-filebeat-works

    オフィシャルサイト情報

    ■オフィシャルサイト

    →elastic.co →jp →beats →filebeat

    ■GitHub

    →github.com →elastic/beats →tree →master →filebeat

    ■主要開発元

    Filebeatは、Elasticが中心となり開発が進められています。

    →elastic.co →jp →about

    ■ライセンス情報

    Filebeatのライセンスは「Elastic License」です。

    詳細について、こちらを参照ください。
    →github.com →elastic/beats →licenses →ELASTIC-LICENSE.txt

    ■クイックインストール

    →elastic.co →guide →beats →filebeat →filebeat-installation-configuration

    ■ダウンロード

    →elastic.co →jp →downloads →beats →filebeat

    同様製品

    同様な機能を提供する製品として、次のようなものがあります。

    オープンソース製品:「Logstash」「Fluentd」など。