マジセミドライブ

ウェビナー関連のニュースやITサービス&ツールの最新情報を随時配信します。

OSS情報

2020.01.01

【OSS情報アーカイブ】Apache NiFi

【OSS情報アーカイブ】Apache NiFi

※当記事に記載されている情報は、古くなっている場合があります。オフィシャルサイトで最新情報をご確認ください。

「Apache NiFi」とは

基本情報

概要

Apache NiFi(アパッチナイファイ)とは、データフローオーケストレーションツールです。Webインタフェースでシステム間のデータフロー自動化定義が可能です。IoTデータフローを見据えた双方向性が特徴です。

基本説明

Apache NiFiは、フローベースプログラミングコンセプトでのデータ処理/配信システムです。

スケーラブルデータフローを有向グラフとして定義し、データのルーティング/変換/中間ロジックを組み合わせて定義できます。グラフィカルなWebインタフェース上でストリーム処理データフローの定義/動作を行えます。

データフロー管理自動化のための容易さ/拡張性/信頼性が特徴です。

経緯

米国家安全保障局(NSA)が開発していた「Niagrafiles」がベースになっています。

2014年11月、Apache Software Foundationにオープンソースとして寄贈
2015年7月、ApacheのTopレベルプロジェクトに昇格

主な特徴

WebベースUI

WebベースUIで、データフローの設計/制御/フィードバック/モニタリングの各機能を直感的に操作できます。

フローのリアルタイム反映

WebUI上のデータフローを変更した時点で、変更内容がリアルタイムに反映されます。リアルタイムデータロジスティックスの統合的/インタラクティブな制御が可能です。

設定柔軟性

「信頼性」「速度(低レイテンシ/高スループット)」「動的な優先順位付け」などの調整を柔軟に設定できます。

セキュア

「暗号化方式(SSL/SSH/HTTPSなど)サポート」でアクセス経路の暗号化を行い、「プラガブルロールベース認証/認可」で役割ベースの認証ができるなど、各種セキュア機構を備えています。

可用性

「処理可能な量以上にデータが取得されたケースへの対応」や「システム障害への対応」などにも対策できます。

クラスタリング

複数ノード上にスケールアウトし、性能を高められる構成になっています。シンプルなマスタスレーブクラスタリング構成です。

1ノードのスループットが100MB/sであったとしても、ノードを重ねればGB単位のスループットを達成できます。

ハードウェアリソース

NiFiの設計方針として、動作しているサーバ上の性能を使い切るように作られており、特にCPU/Diskに負荷がかかる処理モデルとなっています。

メッセージの処理保証

メッセージの処理保証は「Content Repository」のWAL方式の出力によって効果的に達成されます。

データフローの最初(データの発生元)から最後までトラッキングし、データフローの一貫した追跡が可能です。コンプライアンス/トラブルシューティング/最適化などに利用できます。

データバッファリング

データのバッファリングをサポートしており、特定容量/保存期間に応じたバックプレッシャーが可能です。

履歴ローリングバッファ

NiFiの「content repository」は履歴のローリングバッファとして動作します。保存期間超過/処理完了時/容量不足時などに削除されます。

拡張性

さまざまな拡張を行えます。高速な開発と容易なテストが可能です。

双方向性

「Apache NiFi」は、双方向/ポイントツーポイントの通信を行う特徴があります。従来型単方向ストリーミング「Apache Storm」「Spark Streaming」とは異なる部分です。

「IoTセンサ同士の通信」などにも対応できるように設計されています。

プロダクト連携

「Apache Hadoop」「Apache Spark」「Apache Storm」「SAP HANA」と連携し保存/分析できます。

「Oracle」「Teradata」「MongoDB」「Apache Hbase」「Apache Cassandra」などにも対応します。

同様製品

同様な機能を提供する製品として、次のようなものがあります。

オープンソース製品:「RapidMiner Studio」「Talend Open Studio」「Pentaho」など。

ライセンス情報

Apache NiFiのライセンスは「Apache License Version 2.0」です。このライセンスに従うことを条件として、ソースコードの改変と公開が許可されています。

ダウンロード

ダウンロードページ

※定期的にメンテナンスを実施しておりますが、一部情報が古い場合がございます。ご了承ください。

この記事のタグ一覧

おすすめの記事

【IT用語解説】「 デジタルヒューマン 」とは😊

IT用語解説

2024.01.26

【IT用語解説】「 デジタルヒューマン 」とは😊

【IT用語解説】「 デジタルヒューマン 」として、「デジタルヒューマンとは何か?」「どのようにして作成できるのか?」「私たちの世界にどのような影響を与えているのか?」などについて、まとめています。

AIツール関連 記事リストポータル

AIツール

2023.10.05

AIツール関連 記事リストポータル

AI 関連の記事をまとめたポータルページです。

【AIツール実験室】チャットAI対抗「添削能力」選手権🏆

AIツール実験室

2023.12.27

【AIツール実験室】チャットAI対抗「添削能力」選手権🏆

各チャットAIの「添削能力」について比較確認をしています。 「ChatGPT4と同等の添削能力を発揮した無料チャットAI」にご注目ください。 また、 ChatGPTカスタマイズ機能「GPTs」を利用して作成した GPTs文章添削機能「添削師匠さん✍️」を紹介しています。 課金勢は試しに使ってみてください。