【OSS】Google、分散型機械学習ライブラリ「GPipe」をオープンソース化---可能な限り最高の精度を

Google AIの研究チームは、Lingvoフレームワークの下で、大規模ディープニューラルネットワークモデルを効率的にトレーニングするための分散型機械学習ライブラリ「GPipe」をオープンソース化した。

「GPipe」とは

GPipeはトレーニングに「同期確率勾配降下法」と「パイプライン並列処理」を使用する。

これにより、研究者は、より大きなモデルをトレーニングし、ハイパーパラメータを調整することなくパフォーマンスを拡張するために、より多くのアクセラレータを簡単に配置できる。

開発チームは『複数のアクセラレータ間で効率的なトレーニングを可能にするために、GPipeはモデルを異なるアクセラレータ間で分割し、ミニバッチのトレーニング例を自動的に小さなマイクロバッチに分割します』と述べている。

→Google AI Blog　→Introducing GPipe, an Open Source Library for Efficiently Training Large-scale Neural Network Models

GPipeの精度

GoogleAI開発チームは、「GPipeを使用して既存ニューラルネットワークをスケールアップすることがより良いモデル品質を達成するのに役立つ」という仮説を検証した。

研究者たちは、CIFAR10とCIFAR100のデータセットでトランスファーラーニング実験を行った。そこでは、「CIFAR-10の精度を99%に」「CIFAR-100の精度を91.3%に」改善できている。

可能な限り最高の精度を

GoogleAI開発チームは『自動運転や医療用画像処理など、実用的な機械学習アプリケーションの開発と成功は、可能な限り最高の精度を達成することにかかっています。これには大規模でさらに複雑なモデルの構築が必要になることが多いため、GPipeをより広範な研究コミュニティに提供できることをうれしく思います。これが大規模DNNの効率的なトレーニングに役立つインフラストラクチャであることを願います。』と述べている。

以上、下記URLからの要約
https://opensourceforu.com/2019/03/google-open-sources-gpipe-library-to-scale-up-deep-neural-network-training/

この作品は クリエイティブ・コモンズ 表示 - 非営利 4.0 国際 ライセンスの下に提供されています。