「BERT」の主な特徴として、「高性能」「ディープ双方向アプローチ」「事前トレーニング」「微調整カスタマイズ」について紹介。

「BERT」の主な特徴

「BERT」の主な特徴として、「高性能」「ディープ双方向アプローチ」「事前トレーニング」「微調整カスタマイズ」について紹介。

  • P1.BERT
  • P2.「BERT」の主な特徴

高性能

BERTは、高い精度の結果を作成でき、11の自然言語処理タスクで最先端の結果を得られます。

・GLUEスコア:80.5%---7.7%改善
・MultiNLI精度:86.7%---4.6%改善
・質問応答テストF1:93.2ポイント---1.5ポイント改善
・SQuADv2.0テストF1:83.1ポイント---5.1ポイント改善

ディープ双方向アプローチ

BERTは、ディープニューラルネットワークの最下部から開始し、対象箇所の左側と右側の両方のコンテキストを使用する「ディープ双方向アプローチ」を採用しています。

入力内の単語の15%をマスクし、シーケンス全体をディープ双方向変成器エンコーダーで実行してから、マスクされた単語のみを予測します。

次に、大きなコーパス(Wikipedia+BookCorpus)で、モデル(12層から24層の変成器)を長時間トレーニングします。

事前トレーニング

事前トレーニングには、「4〜16のクラウドTPUで4日間ほど」のコストがかかりますが、言語ごとに1回限りの手順です。

■トレーニング済モデル

事前トレーニングモデルがリリースされています。

ほとんどのNLP研究者は、独自モデルを最初から事前トレーニングする必要はありません。

微調整カスタマイズ

微調整プロセスは短時間で完了できます。

「単一クラウドTPUで1時間ほど」もしくは「GPUで数時間ほど」で終了します。

例えば、SQuAD(スタンフォード質問応答データセット)の場合、単一クラウドTPUにおいて約30分でトレーニングでき、91.0%のDevF1スコアを達成できます。




参考元サイト

※定期的にメンテナンスを実施しておりますが、一部情報が古い場合がございます。ご了承ください。

  • P1.BERT
  • P2.「BERT」の主な特徴

BERT最新TOPICS

最新情報はありません。

BERT最新CLOSEUPコラム

無料資料プレゼント

2021/03/04 セキュリティDAYS Keyspider資料

講演資料を見るには、 プライバシーポリシーに同意して、送付先メールアドレスをご入力しご請求ください。

またご入力いただきました情報は、当該資料の作成・提供企業とも共有させていただき、当社及び各社のサービス、製品、セミナー、イベントなどのご案内に使用させていただきます。

本資料を見るには次の画面でアンケートに回答していただく必要があります。



セミナー講演資料公開中

「スマートファクトリ」は製造現場の何を解決できるのか?~IoT導入事例の紹介と、AI、IoTによる「未来型工場」の実現~

マイクロソフトが「HoloLens」で目指す未来と、現在 【IT最新動向ぶっちゃけトーク】ホロラボCEO 中村薫 氏×マジセミCEO 寺田雄一

【製造業向け】設備点検におけるデジタル化(DXソリューション)と、スマートグラス選定方法 ~コスト削減、技術継承、人材不足解消のために~

  • オープソース書籍(サイド)
  • OSSNEWSに広告を掲載しませんか?

facebook

twitter