【NLP】Bert预训练中Mask LM和Next Sentence Prediction输入输出是什么形式？
bert
TensorFlow code and pre-trained models for BERT
项目地址：https://gitcode.com/gh_mirrors/be/bert
免费下载资源
·
1. Mask LM的输入输出形式：
input : [CLS] I like [MASK] (原始句子：I like cat)
ouput: C h1 h2 h3
对h3增加一层所有词的softmax，预测其输出是否为cat。
2. Next Sentence Prediction输入输出形式：
input [CLS] I like cat. [SEP] He like dog [SEP] (原始句子：I like cat. 下一句：He like dog.)
output: C h1 h2 h3 h4 h5 h6 h7 h8 h9 h10
C后面增加一层logit，判断是否是下一句。
GitHub 加速计划 / be / bert
37.61 K
9.55 K
下载
TensorFlow code and pre-trained models for BERT
最近提交(Master分支：2 个月前 )
eedf5716
Add links to 24 smaller BERT models. 4 年前
8028c045 - 4 年前
旨在为数千万中国开发者提供一个无缝且高效的云端环境，以支持学习、使用和贡献开源项目。
更多推荐
2
0- 0
已为社区贡献5条内容
所有评论(0)