【OSS】Google、言語表現事前トレーニング手法「BERT」をオープンソース公開---最新の質問応答システムを30分で訓練

Googleは、言語表現事前トレーニング手法「BERT」をオープンソース公開した。

BERTとは

自然言語処理(NLP)とは「言語翻訳」「センチメント分析」「セマンティック検索」「その他の数多くの言語タスク」などにまたがる人工知能(AI)のサブカテゴリ。

「BERT(Bidirectional Encoder Representations from Transformers)」とは、さまざまな自然言語処理(NLP)タスクの最先端の結果を得る言語表現事前トレーニングのための新手法。

BERTの特徴

Google AI言語の研究者であるJacob Devlin氏とMing-Wei Chang氏は、BERTについて次のように説明している。

『このリリースでは、世界の誰もが、「単一Cloud TPUなら約30分」「単一GPUなら約数時間」で、独自の「最新の質問応答システム」や「その他のさまざまなモデル」を訓練できます。』

GitHubで公開

このリリースはGitHubで利用可能で、以下のものが含まれており、このリポジトリ内のすべてのコードは「CPU」「GPU」「Cloud TPU」ですぐに使用できる。

また「AI開発者向け無料クラウドサービスColabに対応するノートブック」も用意されている。

事前に訓練された言語表現モデル

・「BERT-Base」と「BERT-Large」の事前訓練されたチェックポイント

Mountain View社のTensorFlowマシン学習フレームワークの上に構築されたソースコード

・BERTモデルアーキテクチャのコード---多くが標準Transformerアーキテクチャ
・「SQuad」「MultiNLI」「MRPC」などの微調整実験をプッシュボタンで複製するコード

https://github.com/google-research/bert

以上、下記URLからの要約
https://opensourceforu.com/2018/11/google-open-sources-its-bert-model-source-code/

この作品は クリエイティブ・コモンズ 表示 - 非営利 4.0 国際 ライセンスの下に提供されています。