オープンソースのビッグデータ処理ツール／NGTとは

「NGT」基本情報

■概要

NGT(Neighborhood Graph and Tree for Indexing)とは、高次元ベクトルデータ高速検索技術です。ビッグデータ分析/ディープラーニング領域に活用できる技術として注目されています。

■基本説明

NGT(Neighborhood Graph and Tree for Indexing High-dimensional Data)は、高次元ベクトルデータ空間(数十～数千次元)における大量データ(数百万～数千万のデータ項目)に対して高速近似検索を実行するコマンドおよびライブラリを提供します。

NGTは、大量のデータベースの中から、高次元データと定義される「テキストデータ」「画像データ」「商品データ」「ユーザーデータ」などの複数の特徴を持つデータを高速検索できるもので、ビッグデータ分析を高速化する技術です。

AIやIoTの普及によりますます巨大化するビッグデータ分析の高速化を実現するものとして注目されています。

■経緯

NGTは、もともと、Yahoo! JAPANによって「特定物体認識のための画像特徴量類似検索技術」として研究開発されていました。

Yahoo! JAPANは、2016年11月24日、ビッグデータ分析に向けた高次元データ検索技術「NGT(Neighborhood Graph and Tree for Indexing)」をオープンソース公開したことを発表しました。

■オフィシャルサイト情報

オフィシャルサイト

→Yahoo! JAPAN研究所　→NGT(Neighborhood Graph and Tree for Indexing High-dimensional Data)

ライセンス情報

NGTのライセンスは「Apache License v2」です。

詳細について、こちらを参照ください。
→Yahoo! JAPAN研究所　→NGT　→License

ダウンロード

→GitHub　→yahoojapan/NGT

■同様製品

同様な機能を提供する製品として、次のようなものがあります。

オープンソース製品：「Apache Spark」「Apache Drill」など。