マジセミドライブ

ウェビナー関連のニュースやITサービス&ツールの最新情報を随時配信します。

OSS情報

2020.01.01

【OSS情報アーカイブ】Norikra

【OSS情報アーカイブ】Norikra

※当記事に記載されている情報は、古くなっている場合があります。オフィシャルサイトで最新情報をご確認ください。

「Norikra」とは

基本情報

概要

Norikra(ノリクラ)とは、ストリームデータ処理エンジンです。リアルタイムイベントストリームデータに対して、SQLライク言語でスキーマレスなデータ処理が可能です。手軽に利用できる点が特徴です。

基本説明

Norikraは、ログなどのストリームデータをSQLライク言語で検索/抽出するためのストリームエンジンです。JSON形式データに対してリアルタイムでデータ処理を行います。

NorikraはJRubyで実装されています。JRubyであるため、マルチプロセス稼働が可能です。バックエンドエンジンには、SQLライクにストリーム処理を行えるJavaライブラリ「Esper」が使用されています。

「ユーザフレンドリーなストリーム処理」を標榜しています。同様なストリーム基盤である「Apache Spark」「Apache Storm」に比べて、非常に手軽に使える点が特徴です。簡単にクエリ追加/削除を行えます。

使用例

使用例(1)
アクセスログ(Nginx、Apacheなど)をNorikraに流し込み、「n分あたりのアクセス数」「n分あたりのレスポンスタイム」をリアルタイムに集計します。

使用例(2)
「Elasticsearch + kibana + fluentd + Norikra + Zabbix」でログをリアルタイム可視化します。あらかじめ、Norikraでデータ集計して無駄なものを省いておくことにより、解析コストを抑えられます。Zabbix連携により、検出/解析/通知までの一連の流れを自動化できます。

使用例(3)
不特定多数のクライアントからAPIが呼び出される環境において、各クライアントのアクセス頻度/レスポンス内容を確認するために、Norikraでクライアント別ステータスコードを集計し、kibanaでリアルタイムに可視化します。

使用例(4)
OpenStackが出力する大量のログをNorikraのSQLストリーミング解析にかけることにより、ログ量の傾向から攻撃/障害/故障の検出を行います。

主な特徴

スキーマレス

事前スキーマ定義は必要なく、NorikraにJSON形式データを送れば自動的にスキーマを作成します。データ型の明示的指定も可能です。

クエリ

Norikraは、「EPL」というSQLライククエリで処理を記述できます。データの集計/検索/結合/サブクエリなどをSQLのように記述できます。

クエリウィンドウ

Norikraのクエリでは、「ウィンドウ」という対象範囲指定が可能です。

ストリームで流れてくるデータ範囲を「ウィンドウ」として定義できます。「現在からの時間」「現在からの個数」「単位時間ごと」などの定義ができます。

期間ごとにデータを切り出して集計できます。

fluentdプラグイン

fluentdプラグインが用意されています。fluentd経由でデータを吸い上げて集計できます。

WebUI

WebUIが用意されています。クエリ作成/クエリ動作確認/結果確認などが行えます。サービス再起動なしでクエリを変更できます。

同様製品(概要情報)

同様な機能を提供する製品として、次のようなものがあります。

オープンソース製品:「Apache Spark」「Apache Storm」など。

導入事例

「メルカリ」「KAYAC」「Gunosy」などでの導入事例があります。

ライセンス情報

Norikraのライセンスは、「GNU General Public License v2」です。このライセンスに従うことを条件として、ソースコードの改変と公開が許可されています。

ダウンロード

ダウンロードページ

※定期的にメンテナンスを実施しておりますが、一部情報が古い場合がございます。ご了承ください。

この記事のタグ一覧

おすすめの記事

AIツール関連 記事リストポータル

AIツール

2023.10.05

AIツール関連 記事リストポータル

AI 関連の記事をまとめたポータルページです。

【IT用語解説】「 デジタルヒューマン 」とは😊

IT用語解説

2024.01.26

【IT用語解説】「 デジタルヒューマン 」とは😊

【IT用語解説】「 デジタルヒューマン 」として、「デジタルヒューマンとは何か?」「どのようにして作成できるのか?」「私たちの世界にどのような影響を与えているのか?」などについて、まとめています。

【AIツール実験室】チャットAI対抗「添削能力」選手権🏆

AIツール実験室

2023.12.27

【AIツール実験室】チャットAI対抗「添削能力」選手権🏆

各チャットAIの「添削能力」について比較確認をしています。 「ChatGPT4と同等の添削能力を発揮した無料チャットAI」にご注目ください。 また、 ChatGPTカスタマイズ機能「GPTs」を利用して作成した GPTs文章添削機能「添削師匠さん✍️」を紹介しています。 課金勢は試しに使ってみてください。