基本情報
概要
Apache NiFi(アパッチナイファイ)とは、データフローオーケストレーションツールです。Webインタフェースでシステム間のデータフロー自動化定義が可能です。IoTデータフローを見据えた双方向性が特徴です。
基本説明
Apache NiFiは、フローベースプログラミングコンセプトでのデータ処理/配信システムです。
スケーラブルデータフローを有向グラフとして定義し、データのルーティング/変換/中間ロジックを組み合わせて定義できます。グラフィカルなWebインタフェース上でストリーム処理データフローの定義/動作を行えます。
データフロー管理自動化のための容易さ/拡張性/信頼性が特徴です。
経緯
米国家安全保障局(NSA)が開発していた「Niagrafiles」がベースになっています。
2014年11月、Apache Software Foundationにオープンソースとして寄贈
2015年7月、ApacheのTopレベルプロジェクトに昇格
主な特徴
WebベースUI
WebベースUIで、データフローの設計/制御/フィードバック/モニタリングの各機能を直感的に操作できます。
フローのリアルタイム反映
WebUI上のデータフローを変更した時点で、変更内容がリアルタイムに反映されます。リアルタイムデータロジスティックスの統合的/インタラクティブな制御が可能です。
設定柔軟性
「信頼性」「速度(低レイテンシ/高スループット)」「動的な優先順位付け」などの調整を柔軟に設定できます。
セキュア
「暗号化方式(SSL/SSH/HTTPSなど)サポート」でアクセス経路の暗号化を行い、「プラガブルロールベース認証/認可」で役割ベースの認証ができるなど、各種セキュア機構を備えています。
可用性
「処理可能な量以上にデータが取得されたケースへの対応」や「システム障害への対応」などにも対策できます。
クラスタリング
複数ノード上にスケールアウトし、性能を高められる構成になっています。シンプルなマスタスレーブクラスタリング構成です。
1ノードのスループットが100MB/sであったとしても、ノードを重ねればGB単位のスループットを達成できます。
ハードウェアリソース
NiFiの設計方針として、動作しているサーバ上の性能を使い切るように作られており、特にCPU/Diskに負荷がかかる処理モデルとなっています。
メッセージの処理保証
メッセージの処理保証は「Content Repository」のWAL方式の出力によって効果的に達成されます。
データフローの最初(データの発生元)から最後までトラッキングし、データフローの一貫した追跡が可能です。コンプライアンス/トラブルシューティング/最適化などに利用できます。
データバッファリング
データのバッファリングをサポートしており、特定容量/保存期間に応じたバックプレッシャーが可能です。
履歴ローリングバッファ
NiFiの「content repository」は履歴のローリングバッファとして動作します。保存期間超過/処理完了時/容量不足時などに削除されます。
拡張性
さまざまな拡張を行えます。高速な開発と容易なテストが可能です。
双方向性
「Apache NiFi」は、双方向/ポイントツーポイントの通信を行う特徴があります。従来型単方向ストリーミング「Apache Storm」「Spark Streaming」とは異なる部分です。
「IoTセンサ同士の通信」などにも対応できるように設計されています。
プロダクト連携
「Apache Hadoop」「Apache Spark」「Apache Storm」「SAP HANA」と連携し保存/分析できます。
「Oracle」「Teradata」「MongoDB」「Apache Hbase」「Apache Cassandra」などにも対応します。
同様製品
同様な機能を提供する製品として、次のようなものがあります。
オープンソース製品：「RapidMiner Studio」「Talend Open Studio」「Pentaho」など。
ライセンス情報
Apache NiFiのライセンスは「Apache License Version 2.0」です。このライセンスに従うことを条件として、ソースコードの改変と公開が許可されています。
ダウンロード
※定期的にメンテナンスを実施しておりますが、一部情報が古い場合がございます。ご了承ください。
