【OSS】Facebook、強化学習プラットフォーム「Horizo​​n」をオープンソース公開---実世界の問題に強化学習を効果的に適用

【OSS】Facebook、強化学習プラットフォーム「Horizo​​n」をオープンソース公開---実世界の問題に強化学習を効果的に適用

OSS×クラウド最新TOPICS 2018年11月7日 13:30

【OSS】Facebook、強化学習プラットフォーム「Horizo​​n」をオープンソース公開---実世界の問題に強化学習を効果的に適用

Facebookは強化学習プラットフォーム「Horizo​​n」をオープンソース公開した。

「Horizo​​n」とは

Horizo​​nは、大規模なビジネス問題に自由に対応できるように設計されたエンドツーエンドの強化学習プログラム。

このAIツールには、実世界の問題に強化学習を効果的に適用できるように多くの機能が含まれている。Horizo​​nは、ラベル付きデータセットではなく、体験からの試行錯誤によって「効果の最大化を行う」もしくは「損失を最小限に抑える」ように改善する。

https://code.fb.com/ml-applications/horizon/

Horizo​​nの学習手順

①シミュレーション

Horizo​​nは、アルゴリズムの知識をゼロから開始しランダムなアクションから学ぶのではなく、エンジニアが指定した一連のアクションを実行するアルゴリズムを最初に学習する。

次に、既存データに基づいて数種類の反作用分析を使用して、アルゴリズムが取った異なる動作をシミュレートする。

このように、Horizo​​nはシミュレータのアルゴリズムを模倣することで、現実世界での混乱を心配することなく精緻化できる。

②オンライン実験による強化

シミュレーション上でアルゴリズムが希望するように動作するようになったら、Horizo​​nはリアルタイムの実データを使って小規模なオンライン実験を行う。その後、新しいアルゴリズムについて、より大規模なユーザーやデータセットに徐々に転用していく。

訓練が完了したアルゴリズムを新しいトレーニングシリーズの出発点として使用して、このプロセス全体を繰り返すことができる。

ユースケース

ソーシャルネットワーク機能改善

FacebookはHorizo​​nを利用して、利用可能な帯域幅やビデオバッファリング状況などを考慮することで、ソーシャルネットワーク上での360度ビデオの表示方法を最適化した。

Horizo​​nをダウンロードして利用すると、「ソーシャルネットワークのビデオ機能や通知機能」「メッセージングアプリの大幅改善」「ユーザーにプッシュするコンテンツ改善」などが可能となる。

以上、下記URLからの要約
https://opensourceforu.com/2018/11/facebook-open-sources-its-reinforcement-learning-platform-horizon/

クリエイティブ・コモンズ・ライセンス
この作品は クリエイティブ・コモンズ 表示 - 非営利 4.0 国際 ライセンスの下に提供されています。

OSSNEWSに広告を掲載しませんか?

最新TOPICS

【OSS】Google、言語表現事前トレーニング手法「BERT」をオープンソース公開---最新の質問応答システムを30分で訓練(11月05日 11:36)

Googleは、言語表現事前トレーニング手法「BERT」をオープンソース公開した。 BERTとは 自然言語処理(NLP)とは「言語翻訳」「センチメント分析」「セマンティック検索」「その他の数多くの言語タスク」などにまたがる人工知能(AI)のサブカテゴリ。 「BERT(Bidirectional ...

関連オープンソース

TensorFlow(テンソルフロー)

  • AI・人工知能

TensorFlow(テンソルフロー)。Googleの機械学習/ディープラーニング/多層ニューラルネットワークライブラリです。データフローグラフを使用したライブラリで、複雑なネットワークを分かりやすく記述できます。

Eclipse Deeplearning4j(イクリプスディープラーニングフォージェイ)

  • AI・人工知能

Eclipse Deeplearning4j(イクリプスディープラーニングフォージェイ)とは分散型深層学習ライブラリです。「Java」「JVM(Java仮想マシン)」「各種アルゴリズム」をサポートします。

Keras(ケラス)

  • AI・人工知能

Keras(ケラス)とは、Python実装の高水準ニューラルネットワークライブラリです。「TensorFlow」「Microsoft Cognitive Toolkit」「Theano」上で実行できます。

Torch(トーチ)

  • AI・人工知能

Torch(トーチ)とは、「機械学習ライブラリ」「科学計算フレームワーク」です。GPUを活用する機械学習アルゴリズムを幅広くサポートしています。

Pylearn2(パイラーンツー)

  • AI・人工知能

Pylearn2(パイラーンツー)とは、数値計算ライブラリ「Theano」ベースのオープンソースディープラーニングライブラリです。

scikit-learn(サイキットラーン)

  • AI・人工知能

scikit-learn(サイキットラーン)とは、Pythonのオープンソース機械学習ライブラリです。機能が充実している高品質ライブラリです。

MXNet(エムエックスネット)

  • AI・人工知能

MXNet(エムエックスネット)とは、「効率」と「柔軟性」を両立したディープラーニングフレームワークです。AWSが公式サポートを表明したことで大きな注目を集めています。

Theano(テアノ)

  • AI・人工知能

Theano(テアノ)とは、Python用数値計算ライブラリです。多次元配列を効率的に使用する数式について定義/最適化/評価でき、ディープラーニング計算処理によく利用されます。

DSSTNE(デスティニー)

  • AI・人工知能

DSSTNE(デスティニー)。ディープラーニングライブラリです。Amazonがオープンソース公開したもので、スパース(疎)データに強いという特徴があります。

Caffe(カフェ)

  • AI・人工知能

Caffe(カフェ)。オープンソースのディープラーニングライブラリです。画像認識に特化しており、高速処理が可能です。

Chainer(チェイナー)

  • AI・人工知能

Chainer(チェイナー)。日本製の深層学習フレームワークです。ニューラルネットワークをPythonで柔軟に記述し、学習させることができます。

Microsoft Cognitive Toolkit(マイクロソフトコグニティブツールキット)

  • AI・人工知能

Microsoft Cognitive Toolkit(マイクロソフトコグニティブツールキット)。AI技術を利用したディープラーニング(深層学習)ツールキットです。旧称「CNTK」から改名されました。

  • オープソース書籍(サイド)
  • OSSNEWSに広告を掲載しませんか?

facebook

twitter

facebook

twitter