BERT 是"Bidirectional Encoder Representations from Transformers"的缩写。由谷歌 AI 团队在 2018 年 10 月提出，是对Transform的谷歌的最初的尝试，在 11 项自然语言处理测试中创下最佳成绩，机器阅读理解测试上首次超越人类水平。

它本质上是Transformer的一个Encoder（编码器）

特征编码

• 核心难点: 自然语言处理中最困难的是特征编码而非分类任务本身
• 实现方式: 通过Transformer编码器提取输入的特征表示
• 中文处理建议: 对于中文任务，考虑使用字级别而非词级别处理，因中文字数量有限（约1万个）而词组合可能性过多

开源优势: 提供预训练模型，避免从零开始训练

1. ‌双向理解‌：传统模型只能从左到右或从右到左读文字，BERT 能同时看词语左右两边的内容，就像人读书时能联系前后文理解意思。‌‌百科‌**

2. ‌两个训练任务‌：

   • ‌猜被遮住的词‌：随机遮住 15% 的文字，让模型根据上下文猜原词是什么。
   • ‌判断句子关系‌：给两个句子，让模型判断第二句是不是第一句的下一句。‌‌

3. ‌模型大小‌：基础版有 1.1 亿参数，大版有 3.4 亿参数，层数分别是 12 层和 24 层。‌‌