Apache Storm(アパッチストーム)。オープンソースで耐障害性に優れた高速分散処理型ニアリアルタイムビッグデータ処理フレームワークです。

オープンソースのストリームデータ処理/Apache Stormとは

Apache Storm(アパッチストーム)。オープンソースで耐障害性に優れた高速分散処理型ニアリアルタイムビッグデータ処理フレームワークです。

基本情報

概要

Apache Storm(アパッチストーム)とは、オープンソースで耐障害性に優れた高速分散処理型ニアリアルタイムビッグデータ処理フレームワークです。

「Apache Hadoop」とは

Hadoopとは、ビッグデータ処理を目的とした分散処理フレームワークです。Javaで実装されています。

分散処理フレームワーク「MapReduce」、分散ファイルシステム「HDFS」、クラスタ管理システム「YARN」などで構成されています。

「Apache Storm」基本説明

Stormは、「CEP(Complex Event Processing):復号イベント処理」に分類されます。ほぼリアルタイムで、連続的に発生する大規模データ分析の高速処理を実現するフレームワークです。

Stormは、ストレージの概念を導入していません。そのため、データ元の状態に縛られることなく、データベースなどのストレージシステム内のデータのみではなく、さまざまなシステムから流れてくるデータを処理できます。

Stormは、不正の検出、クリックストリーム分析、金融取引関連の警告処理、大量なIoTデバイスの監視、ソーシャル分析、ネットワーク監視などのリアルタイム性が要求されるシナリオに適しています。

ユーザは、デバイス、センサー、インフラストラクチャ、アプリケーション、Webサイト、各種データからリアルタイムイベント収集し処理できます。

Stormは、大量データ高速処理、フォールトトレラント、スケール可能クラスタ、扱いやすい操作性などを実現します。

Stormのソリューションは、正常に処理されなかったデータを再生する機能を備え、保証されたデータ処理を実現します。

データベースシステムとの統合/連携、並列化/分割化、処理失敗時のリトライが容易になっています。

コアプロセスは「Clojure」、コンポーネントは「Java」で実装されています。

経緯

元々は、米BackType社が開発しており、Twitter社が米BackType社を買収して、オープンソース公開しました。

Twitterでは、ツイートのリアルタイム処理(トレンド機能など)に使用されています。

その後、The Apache Software Foundationは、「Apache Storm」を、より優先して開発を行うトップレベルプロジェクトに昇格させました。

「Hadoop」と「Storm」の違い

Hadoopは、基本的にバッチ処理システムであり、データをHDFS(Hadoop File System)に取り込みブロック単位で蓄積した後に、一括ノード分散処理します。処理が完了すると、処理結果データがHDFSに返されて依頼元で使用できるようになるという仕組みです。

つまり、処理データが発生してから、それに対する処理結果が得られるまで必ずタイムラグが発生します。そのため、リアルタイム性が要求されるケースには向いていません。

Stormでは、ストリームデータを溜め込んでから処理を開始するのではなく、読み込みながらノンストップで処理を実行し続けます。オンメモリベースで1件ずつ処理するため、低レイテンシでのリアルタイム性が高い処理を実現できます。

TOPに戻る

主な機能

ストリーム処理

「データストリームを処理してデータベースをリアルタイム更新するような処理」などを、耐障害性を持ちながらスケーラブルにストリーム処理できます。

継続的処理

連続的クエリを実行して、処理結果をクライアントへストリーミングできます。例えば、Twitterのストリームからトレンドトピックのストリームを生成し続けることができます。

クエリ並列処理

動作中のStormに対して、即座に処理をする必要性が高い任意のクエリ投げて、並行して処理させることも可能です。

TOPに戻る

主な特徴

プログラミング言語非依存

さまざまなプログラミング言語に対応できます。

耐障害性

Stormは、障害発生時のメッセージ処理を保障し、データ欠損が発生しない仕組みを実装しています。タスクの障害が発生した場合、自動的にメッセージの再割り当てが行われます。従って、ミッションクリティカルな分野への適用も可能です。

TOPに戻る

同様製品(概要情報)

同様な機能を提供する製品として、次のようなものがあります。

オープンソース製品:「Apache Hadoop」「Apache Spark」など。

TOPに戻る

導入事例

リアルタイムビッグデータ分散処理フレームワークとして注目されています。

TOPに戻る

ライセンス情報

Apache Stormのライセンスは、「Apache License Version 2.0」です。このライセンスに従うことを条件として、ソースコードの改変と公開が許可されています。

TOPに戻る

ダウンロード

ダウンロードページ

TOPに戻る

※定期的にメンテナンスを実施しておりますが、一部情報が古い場合がございます。ご了承ください。

Apache Storm最新TOPICS

【OSS化】Twitter、ストリーム処理エンジン「Heron」をオープンソース化---「Apache Storm」の後継(後方互換性あり)(2016年11月12日 13:03)

Twitterは、ストリーム処理エンジン「Heron」のオープンソース化をアナウンスした。 【Heronとは】 ・オープンソース(Apache License Version 2.0) ・ストリーム処理エンジン ・「Apache Storm」の後継(後方互換性あり) ・スケーラビリティ、デバッグ容易性、共有クラスタ基盤上での機能が高性能 【ポイント】 ・Twitterは、ス...

Apache Storm最新CLOSEUPコラム

無料資料プレゼント

フォレスターによる調査レポート「サービスとしてのデータベース (2017 年第 2 四半期)」AWS社提供

講演資料を見るには、 プライバシーポリシーに同意して、送付先メールアドレスをご入力しご請求ください。

またご入力いただきました情報は、当該資料の作成・提供企業とも共有させていただき、当社及び各社のサービス、製品、セミナー、イベントなどのご案内に使用させていただきます。

本資料を見るには次の画面でアンケートに回答していただく必要があります。



  • オープソース書籍(サイド)
  • OSSNEWSに広告を掲載しませんか?

facebook

twitter