【OSS】ヤフー、分散表現学習時間短縮化技術「yskip」をオープンソース公開---自然言語処理学習時間を短縮化

ヤフー株式会社(Yahoo! JAPAN)は、AI/自然言語処理技術の1つである分散表現学習時間短縮化技術「yskip」をオープンソースソフトウェアとして公開した。

分散表現とは、単語をベクトルで表現するための自然言語処理AI技術。

分散表現技術を用いると、大量のテキストデータからさまざまな単語の関係性を機械学習し、単語同士の意味の相違を機械的に推定できる。

「yskip」とは、ネガティブサンプリングによるインクリメンタルスキップグラムモデルのC++実装で、代表的分散表現学習法「SGNS(Skip-Gram model with Negative Sampling)」を拡張した技術。

増加し続けるビッグデータを追加分のみ機械学習することが可能で学習効率を高めることができる。全データ学習と比較した場合でも、学習時間を短縮化しつつ同等精度を維持できる。

Yahoo! JAPANでは、「ユーザーの興味関心情報」と「記事や広告」のマッチングの裏側の技術として活用している。

【OSS】Uber、機械学習用ビジュアルデバッグツール「Manifold」をオープンソースリリース---モデル全体のパフォーマンス問題を特定（01月08日 10:05）

Manifoldとは Manifoldは、エンジニアや科学者が、MLデータスライスとモデル全体のパフォーマンス問題を特定し、データのサブセット間の機能分布の違いを明らかにすることで根本原因を診断するのに役立つデバッグツール。「Apache License 2.0」で提供されている。