【OSS】Facebook、強化学習プラットフォーム「Horizo​​n」をオープンソース公開---実世界の問題に強化学習を効果的に適用

Facebookは強化学習プラットフォーム「Horizo​​n」をオープンソース公開した。

「Horizo​​n」とは

Horizo​​nは、大規模なビジネス問題に自由に対応できるように設計されたエンドツーエンドの強化学習プログラム。

このAIツールには、実世界の問題に強化学習を効果的に適用できるように多くの機能が含まれている。Horizo​​nは、ラベル付きデータセットではなく、体験からの試行錯誤によって「効果の最大化を行う」もしくは「損失を最小限に抑える」ように改善する。

https://code.fb.com/ml-applications/horizon/

Horizo​​nの学習手順

①シミュレーション

Horizo​​nは、アルゴリズムの知識をゼロから開始しランダムなアクションから学ぶのではなく、エンジニアが指定した一連のアクションを実行するアルゴリズムを最初に学習する。

次に、既存データに基づいて数種類の反作用分析を使用して、アルゴリズムが取った異なる動作をシミュレートする。

このように、Horizo​​nはシミュレータのアルゴリズムを模倣することで、現実世界での混乱を心配することなく精緻化できる。

②オンライン実験による強化

シミュレーション上でアルゴリズムが希望するように動作するようになったら、Horizo​​nはリアルタイムの実データを使って小規模なオンライン実験を行う。その後、新しいアルゴリズムについて、より大規模なユーザーやデータセットに徐々に転用していく。

訓練が完了したアルゴリズムを新しいトレーニングシリーズの出発点として使用して、このプロセス全体を繰り返すことができる。

ユースケース

ソーシャルネットワーク機能改善

FacebookはHorizo​​nを利用して、利用可能な帯域幅やビデオバッファリング状況などを考慮することで、ソーシャルネットワーク上での360度ビデオの表示方法を最適化した。

Horizo​​nをダウンロードして利用すると、「ソーシャルネットワークのビデオ機能や通知機能」「メッセージングアプリの大幅改善」「ユーザーにプッシュするコンテンツ改善」などが可能となる。

以上、下記URLからの要約
https://opensourceforu.com/2018/11/facebook-open-sources-its-reinforcement-learning-platform-horizon/

この作品は クリエイティブ・コモンズ 表示 - 非営利 4.0 国際 ライセンスの下に提供されています。