基本情報
概要
Norikra(ノリクラ)とは、ストリームデータ処理エンジンです。リアルタイムイベントストリームデータに対して、SQLライク言語でスキーマレスなデータ処理が可能です。手軽に利用できる点が特徴です。
基本説明
Norikraは、ログなどのストリームデータをSQLライク言語で検索/抽出するためのストリームエンジンです。JSON形式データに対してリアルタイムでデータ処理を行います。
NorikraはJRubyで実装されています。JRubyであるため、マルチプロセス稼働が可能です。バックエンドエンジンには、SQLライクにストリーム処理を行えるJavaライブラリ「Esper」が使用されています。
「ユーザフレンドリーなストリーム処理」を標榜しています。同様なストリーム基盤である「Apache Spark」「Apache Storm」に比べて、非常に手軽に使える点が特徴です。簡単にクエリ追加/削除を行えます。
使用例
使用例(1)
アクセスログ(Nginx、Apacheなど)をNorikraに流し込み、「n分あたりのアクセス数」「n分あたりのレスポンスタイム」をリアルタイムに集計します。
使用例(2)
「Elasticsearch + kibana + fluentd + Norikra + Zabbix」でログをリアルタイム可視化します。あらかじめ、Norikraでデータ集計して無駄なものを省いておくことにより、解析コストを抑えられます。Zabbix連携により、検出/解析/通知までの一連の流れを自動化できます。
使用例(3)
不特定多数のクライアントからAPIが呼び出される環境において、各クライアントのアクセス頻度/レスポンス内容を確認するために、Norikraでクライアント別ステータスコードを集計し、kibanaでリアルタイムに可視化します。
使用例(4)
OpenStackが出力する大量のログをNorikraのSQLストリーミング解析にかけることにより、ログ量の傾向から攻撃/障害/故障の検出を行います。
主な特徴
スキーマレス
事前スキーマ定義は必要なく、NorikraにJSON形式データを送れば自動的にスキーマを作成します。データ型の明示的指定も可能です。
クエリ
Norikraは、「EPL」というSQLライククエリで処理を記述できます。データの集計/検索/結合/サブクエリなどをSQLのように記述できます。
クエリウィンドウ
Norikraのクエリでは、「ウィンドウ」という対象範囲指定が可能です。
ストリームで流れてくるデータ範囲を「ウィンドウ」として定義できます。「現在からの時間」「現在からの個数」「単位時間ごと」などの定義ができます。
期間ごとにデータを切り出して集計できます。
fluentdプラグイン
fluentdプラグインが用意されています。fluentd経由でデータを吸い上げて集計できます。
WebUI
WebUIが用意されています。クエリ作成/クエリ動作確認/結果確認などが行えます。サービス再起動なしでクエリを変更できます。
同様製品(概要情報)
同様な機能を提供する製品として、次のようなものがあります。
オープンソース製品：「Apache Spark」「Apache Storm」など。
導入事例
「メルカリ」「KAYAC」「Gunosy」などでの導入事例があります。
ライセンス情報
Norikraのライセンスは、「GNU General Public License v2」です。このライセンスに従うことを条件として、ソースコードの改変と公開が許可されています。
ダウンロード
※定期的にメンテナンスを実施しておりますが、一部情報が古い場合がございます。ご了承ください。
