オープンソースのビッグデータ処理ツール／Apache Kafkaとは

「Apache Kafka」基本情報

■概要

Apache Kafka(アパッチ カフカ)とは、分散ストリーミングプラットフォームです。「Pull型」「高スループット」などの特徴があり、ストリーミングデータパイプライン構築に利用できます。

■基本説明

Apache Kafkaは、分散環境において「高スループット」かつ「低レイテンシ」で、大規模データ(ログデータ/イベントデータなど)を高速に取り込み、配信できるメッセージングシステムです。オンライン/オフライン両方のメッセージ取得に対応します。

■経緯

2011年、LinkedInがオープンソース公開しました。

その後、Apache Software Foundationが開発を行っています。

■ユースケース

「リアルタイムストリーミングデータパイプライン構築」や「データストリームを変換するリアルタイムストリーミングアプリケーション」などを構築できます。

■オフィシャルサイト情報

オフィシャルサイト

→Apache Kafka

ライセンス情報

Apache Kafkaのライセンスは「Apache License 2.0」です。

詳細について、こちらを参照ください。
→GitHub　→kafka-dev/kafka　→LICENSE

ダウンロード

→Apache Kafka　→Download

導入事例

Apache Kafkaは、「LinkeIn」「Twitter」「Netflix」「Uber」「Tumblr」などでの採用実績があります。

→Apache Kafka　→Powered By

■同様製品

同様な機能を提供する製品として、次のようなものがあります。

オープンソース製品：「Apache Storm」「RabbitMQ」など。