「Fluentd」のユースケースとして、「有料ログ検索ツール(Splunk)の無料代替」「GrepアラートEmailシステム」「Treasure Dataによるクラウドビッグデータ分析」「ApacheログをMongoDBにインポート」「ビッグデータをHadoop HDFSに集約」「ApacheログをAmazon S3に保存」について紹介。

「Fluentd」のユースケース

「Fluentd」のユースケースとして、「有料ログ検索ツール(Splunk)の無料代替」「GrepアラートEmailシステム」「Treasure Dataによるクラウドビッグデータ分析」「ApacheログをMongoDBにインポート」「ビッグデータをHadoop HDFSに集約」「ApacheログをAmazon S3に保存」について紹介。

■関連する比較ページ

「Fluentd」のユースケース

■有料ログ検索ツール「Splunk」の無料代替

有料ログ検索ツール「Splunk」は高機能な優れたツールですが、コストの高さがネックになります。

「Elasticsearch」+「Kibana」+「Fluentd」の3つのオープンソースプロジェクトを組み合わせて、Splunkを代替するシステムを構築できます。

→Fluentd →Use Cases →Free Alternative to Splunk Using Fluentd

■GrepアラートEmailシステム

ApacheアクセスログにHTTPステータスコード「5xx」が検出された時に、警告メールを送信するシステムを作成できます。

→Fluentd →Use Cases →Splunk-like Grep-and-Alert-Email System Using Fluentd

■Treasure Dataによるクラウドビッグデータ分析

Treasure Dataは、クラウド上でデータの保存および分析ができるサービスを提供しています。

Fluentdを使用してHTTPからデータを受信し、Treasure Dataに対してストリーム配信できます。

→Fluentd →Use Cases →Cloud Big Data Analytics with Treasure Data

■ApacheログをMongoDBにインポート

Fluentdはログを半構造化データストリームとして処理するため、半構造化データを強力にサポートするドキュメント指向データベース「MongoDB」は理想的なデータベースです。

Fluentdを使用してApacheログをMongoDBにインポートできます。

→Fluentd →Use Cases →Store Apache Logs into MongoDB

■ビッグデータを「Hadoop HDFS」に集約

MongoDBでは扱いきれないほどの膨大なデータ量を格納し処理するには、「HDFS(Hadoop Distributed File System)」の利用が効果的です。

Fluentdの「WebHDFS Output」プラグインを使用することで、HTTPからデータを受信し、半構造化ログをHDFSにストリームできます。

→Fluentd →Use Cases →Fluentd + HDFS: Instant Big Data Collection

■Apacheログを「Amazon S3」に保存

Fluentdの「Amazon S3 Outputプラグイン」を使用して、Apacheログをクラウドオブジェクトストレージ「Amazon S3」にインポートします。

→Fluentd →Use Cases →Store Apache Logs into Amazon S3

fluentd最新TOPICS

【OSS】日本発のデータ収集ツール「Fluentd」、「Cloud Native Computing Foundation(CNCF)」の管理プロジェクトに---有力OSSの仲間入り(2016年11月10日 10:03)

米Linux Foundationは、11月8日(米国時間)、 オープンソースのデータ収集ツール「Fluentd」が「Cloud Native Computing Foundation(CNCF)」の管理するプロジェクトになったと発表した。 【Fluentdとは】 ・古橋貞之氏が開発を始めたOSS ・米Googleや米Microsoftのクラウドの中でも使われている http://w...

fluentd最新CLOSEUPコラム

  • Zabbixカンファレンス2019
  • OSSNEWSに広告を掲載しませんか?

facebook

twitter