NGT(Neighborhood Graph and Tree for Indexing)とは、高次元ベクトルデータ高速検索技術です。ビッグデータ分析/ディープラーニング領域に活用できる技術として注目されています。

オープンソースのビッグデータ処理ツール/NGTとは

NGT(Neighborhood Graph and Tree for Indexing)とは、高次元ベクトルデータ高速検索技術です。ビッグデータ分析/ディープラーニング領域に活用できる技術として注目されています。

基本情報

概要

NGT(Neighborhood Graph and Tree for Indexing)とは、高次元ベクトルデータ高速検索技術です。ビッグデータ分析/ディープラーニング領域に活用できる技術として注目されています。

基本説明

NGTは、大量の高次元ベクトルデータ空間において、高速近傍検索を実行するためのコマンド/ライブラリを提供します。「グラフ」と「ツリー」を組み合わせたインデックスを用いる近傍検索手法です。

任意の密ベクトルに対して、指定したベクトルから最も距離が近いベクトルの上位数件を高速探索します。複数の特徴を持つ高次元データ(テキストデータ/画像データ/商品データ/ユーザデータなど)を、大量のデータベースの中から高速に検索/特定できます。

経緯

NGTは、もともと、「特定物体認識のために画像特徴量の類似検索する技術」として研究開発されていました。

2016年11月に、Yahoo! JAPANがオープンソース公開しました。

TOPに戻る

主な特徴

ベクトルデータ検索(ビッグデータ活用)

複数の特徴を持つデータ(機械翻訳/文書要約/ニュース記事/商品レコメンド/画像QA/音声認識など)は、分散表現(ベクトルデータ)と呼ばれます。NGTは、このようなビッグデータに対して、高速分析を実現します。

この技術の応用例1つ目は、「人工知能(AI)技術の精度向上」です。人工知能(AI)分析に適した活用しやすい高品質なビッグデータ生成が期待されています。

応用例2つ目は、「企業内ビッグデータの活用」です。企業内ビッグデータ(データフォーマットがバラバラで扱いにくい大量データ)に対して、高速照合処理/データ名寄せ処理などを行い、活用できるビッグデータに変換することで、情報資産として利用できることも期待されています。

高速性

言語データの場合、200万件/検索精度(適合率)90%のケースでの検索では、「NGT」は、既存類似高速検索技術「SASH」に対して約4倍高速、「FLANN」に対して約12倍高速という結果が出ています。

画像データの場合、1000万件/検索精度(適合率)90%のケースでは、「NGT」は、「FLANN」に対して約13倍高速という結果が出ています。

構成

NGTは、コマンドラインツール「ngt」とライブラリ「libngt」で構成されています。

コマンドツール「ngt」の主な機能

コマンドツール「ngt」の主な機能は以下の通りです。
・インデックスの生成/データ登録
・インデックスへのデータ追加登録
・近傍検索
・インデックスからのデータ削除

インデックスメモリ配置

NGTは、インデックスを共有メモリ上にも配置できます。

共有メモリ用コードを使用すると、複数プロセスから同一インデックスを利用する場合に、メモリ使用量を削減できます。また、インデックスのロード時間を短縮する効果もあります。

TOPに戻る

同様製品

同様な機能を提供する製品として、次のようなものがあります。

オープンソース製品:「Apache Spark」「Apache Drill」など。

TOPに戻る

ライセンス情報

NGTのライセンスは「Apache License v2」です。このライセンスに従うことを条件として、ソースコードの改変と公開が許可されています。

TOPに戻る

ダウンロード

ダウンロードページ

TOPに戻る

※定期的にメンテナンスを実施しておりますが、一部情報が古い場合がございます。ご了承ください。

NGT最新TOPICS

最新情報はありません。

NGT最新CLOSEUPコラム

無料資料プレゼント

フォレスターによる調査レポート「サービスとしてのデータベース (2017 年第 2 四半期)」AWS社提供

講演資料を見るには、 プライバシーポリシーに同意して、送付先メールアドレスをご入力しご請求ください。

またご入力いただきました情報は、当該資料の作成・提供企業とも共有させていただき、当社及び各社のサービス、製品、セミナー、イベントなどのご案内に使用させていただきます。

本資料を見るには次の画面でアンケートに回答していただく必要があります。



  • オープソース書籍(サイド)
  • OSSNEWSに広告を掲載しませんか?

facebook

twitter