【OSS】Google、言語表現事前トレーニング手法「BERT」をオープンソース公開---最新の質問応答システムを30分で訓練

【OSS】Google、言語表現事前トレーニング手法「BERT」をオープンソース公開---最新の質問応答システムを30分で訓練

OSS×クラウド最新TOPICS 2018年11月5日 11:36

【OSS】Google、言語表現事前トレーニング手法「BERT」をオープンソース公開---最新の質問応答システムを30分で訓練

Googleは、言語表現事前トレーニング手法「BERT」をオープンソース公開した。

BERTとは

自然言語処理(NLP)とは「言語翻訳」「センチメント分析」「セマンティック検索」「その他の数多くの言語タスク」などにまたがる人工知能(AI)のサブカテゴリ。

「BERT(Bidirectional Encoder Representations from Transformers)」とは、さまざまな自然言語処理(NLP)タスクの最先端の結果を得る言語表現事前トレーニングのための新手法。

BERTの特徴

Google AI言語の研究者であるJacob Devlin氏とMing-Wei Chang氏は、BERTについて次のように説明している。

『このリリースでは、世界の誰もが、「単一Cloud TPUなら約30分」「単一GPUなら約数時間」で、独自の「最新の質問応答システム」や「その他のさまざまなモデル」を訓練できます。』

GitHubで公開

このリリースはGitHubで利用可能で、以下のものが含まれており、このリポジトリ内のすべてのコードは「CPU」「GPU」「Cloud TPU」ですぐに使用できる。

また「AI開発者向け無料クラウドサービスColabに対応するノートブック」も用意されている。

事前に訓練された言語表現モデル

・「BERT-Base」と「BERT-Large」の事前訓練されたチェックポイント

Mountain View社のTensorFlowマシン学習フレームワークの上に構築されたソースコード

・BERTモデルアーキテクチャのコード---多くが標準Transformerアーキテクチャ
・「SQuad」「MultiNLI」「MRPC」などの微調整実験をプッシュボタンで複製するコード

https://github.com/google-research/bert

以上、下記URLからの要約
https://opensourceforu.com/2018/11/google-open-sources-its-bert-model-source-code/

クリエイティブ・コモンズ・ライセンス
この作品は クリエイティブ・コモンズ 表示 - 非営利 4.0 国際 ライセンスの下に提供されています。

OSSNEWSに広告を掲載しませんか?

最新TOPICS

【OSS】Facebook、強化学習プラットフォーム「Horizo​​n」をオープンソース公開---実世界の問題に強化学習を効果的に適用(11月07日 13:30)

Facebookは強化学習プラットフォーム「Horizo​​n」をオープンソース公開した。 「Horizo​​n」とは Horizo​​nは、大規模なビジネス問題に自由に対応できるように設計されたエンドツーエンドの強化学習プログラム。 このAIツールには、実世界の問題に強化学習を効果的に適用でき...

関連オープンソース

TensorFlow(テンソルフロー)

  • AI・人工知能

TensorFlow(テンソルフロー)。Googleの機械学習/ディープラーニング/多層ニューラルネットワークライブラリです。データフローグラフを使用したライブラリで、複雑なネットワークを分かりやすく記述できます。

Eclipse Deeplearning4j(イクリプスディープラーニングフォージェイ)

  • AI・人工知能

Eclipse Deeplearning4j(イクリプスディープラーニングフォージェイ)とは分散型深層学習ライブラリです。「Java」「JVM(Java仮想マシン)」「各種アルゴリズム」をサポートします。

Keras(ケラス)

  • AI・人工知能

Keras(ケラス)とは、Python実装の高水準ニューラルネットワークライブラリです。「TensorFlow」「Microsoft Cognitive Toolkit」「Theano」上で実行できます。

Torch(トーチ)

  • AI・人工知能

Torch(トーチ)とは、「機械学習ライブラリ」「科学計算フレームワーク」です。GPUを活用する機械学習アルゴリズムを幅広くサポートしています。

Pylearn2(パイラーンツー)

  • AI・人工知能

Pylearn2(パイラーンツー)とは、数値計算ライブラリ「Theano」ベースのオープンソースディープラーニングライブラリです。

scikit-learn(サイキットラーン)

  • AI・人工知能

scikit-learn(サイキットラーン)とは、Pythonのオープンソース機械学習ライブラリです。機能が充実している高品質ライブラリです。

MXNet(エムエックスネット)

  • AI・人工知能

MXNet(エムエックスネット)とは、「効率」と「柔軟性」を両立したディープラーニングフレームワークです。AWSが公式サポートを表明したことで大きな注目を集めています。

Theano(テアノ)

  • AI・人工知能

Theano(テアノ)とは、Python用数値計算ライブラリです。多次元配列を効率的に使用する数式について定義/最適化/評価でき、ディープラーニング計算処理によく利用されます。

DSSTNE(デスティニー)

  • AI・人工知能

DSSTNE(デスティニー)。ディープラーニングライブラリです。Amazonがオープンソース公開したもので、スパース(疎)データに強いという特徴があります。

Caffe(カフェ)

  • AI・人工知能

Caffe(カフェ)。オープンソースのディープラーニングライブラリです。画像認識に特化しており、高速処理が可能です。

Chainer(チェイナー)

  • AI・人工知能

Chainer(チェイナー)。日本製の深層学習フレームワークです。ニューラルネットワークをPythonで柔軟に記述し、学習させることができます。

Microsoft Cognitive Toolkit(マイクロソフトコグニティブツールキット)

  • AI・人工知能

Microsoft Cognitive Toolkit(マイクロソフトコグニティブツールキット)。AI技術を利用したディープラーニング(深層学習)ツールキットです。旧称「CNTK」から改名されました。

  • オープソース書籍(サイド)
  • OSSNEWSに広告を掲載しませんか?

facebook

twitter

facebook

twitter