BERT(バート)とは、自然言語処理(NLP)タスクの事前トレーニング手法です。事前トレーニングされたBERTモデルを1つの追加出力レイヤーで微調整することで、「質問応答」や「言語推論」などの幅広いタスクに対応する最先端のモデルを作成できます。Google Researchが中心となり開発が進められています。
BERTは「Bidirectional Encoder Representations Transformers」の略称で、言語表現を事前にトレーニングする手法です。
自然言語処理(NLP)とは「言語翻訳」「センチメント分析」「セマンティック検索」「その他の数多くの言語タスク」などにまたがる人工知能(AI)のサブカテゴリです。
「汎用言語理解モデル」を大きなテキストコーパス(Wikipediaなど)で事前トレーニングし、そのモデルをNLPタスク(質問など)に使用します。
「ディープ双方向アプローチ」により、言語理解タスクにおいて、以前のトレーニング方法よりも高い精度に達しています。
→arxiv.org →BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
→github.com →google-research/bert
BERTは、Google Researchが中心となり開発が進められています。
BERTのライセンスは「Apache License 2.0」です。
詳細について、こちらを参照ください。
→github.com →google-research/bert →LICENSE
リポジトリ内のすべてのコードは「CPU」「GPU」「CloudTPU」ですぐに使用できます。
ただし、GPUトレーニングは単一GPUのみサポートしています。
OSS×Cloud ACCESS RANKING