有料ログ検索ツール「Splunk」は高機能な優れたツールですが、コストの高さがネックになります。
「Elasticsearch」+「Kibana」+「Fluentd」の3つのオープンソースプロジェクトを組み合わせて、Splunkを代替するシステムを構築できます。
→Fluentd →Use Cases →Free Alternative to Splunk Using Fluentd
ApacheアクセスログにHTTPステータスコード「5xx」が検出された時に、警告メールを送信するシステムを作成できます。
→Fluentd →Use Cases →Splunk-like Grep-and-Alert-Email System Using Fluentd
Treasure Dataは、クラウド上でデータの保存および分析ができるサービスを提供しています。
Fluentdを使用してHTTPからデータを受信し、Treasure Dataに対してストリーム配信できます。
→Fluentd →Use Cases →Cloud Big Data Analytics with Treasure Data
Fluentdはログを半構造化データストリームとして処理するため、半構造化データを強力にサポートするドキュメント指向データベース「MongoDB」は理想的なデータベースです。
Fluentdを使用してApacheログをMongoDBにインポートできます。
→Fluentd →Use Cases →Store Apache Logs into MongoDB
MongoDBでは扱いきれないほどの膨大なデータ量を格納し処理するには、「HDFS(Hadoop Distributed File System)」の利用が効果的です。
Fluentdの「WebHDFS Output」プラグインを使用することで、HTTPからデータを受信し、半構造化ログをHDFSにストリームできます。
→Fluentd →Use Cases →Fluentd + HDFS: Instant Big Data Collection
Fluentdの「Amazon S3 Outputプラグイン」を使用して、Apacheログをクラウドオブジェクトストレージ「Amazon S3」にインポートします。
米Linux Foundationは、11月8日(米国時間)、 オープンソースのデータ収集ツール「Fluentd」が「Cloud Native Computing Foundation(CNCF)」の管理するプロジェクトになったと発表した。 【Fluentdとは】 ・古橋貞之氏が開発を始めたOSS ・米Googleや米Microsoftのクラウドの中でも使われている http://w...
OSS×Cloud ACCESS RANKING