Bert模型系列一：输入到底是什么东西呢？
bert
TensorFlow code and pre-trained models for BERT
项目地址：https://gitcode.com/gh_mirrors/be/bert
免费下载资源
·
bert的输入是什么。
首先放上bert论文的地址：添加链接描述
- 上图是论文中给出的bert的输入的结构图:
- 输入由三部分组成：
- 1.token embedding
- 2 segment embedding 段向量, 其中端对应的就是inputs的一句话， 句子末尾都有加[SEP]结尾符，两句拼接开头有[CLS]符号。是因为BERT里面的下一句的预测任务，所以会有两句拼接起来，上句与下句，上句有上句段向量，下句则有下句段向量，也就是图中A与B。
- 3 position embedding：是因为 Transformer 模型不能记住时序，所以人为加入表示位置的向量
之后这三个向量拼接起来的输入会喂入BERT模型，输出各个位置的表示向量
后面继续研读大佬的论文，在总结bert的其他东西
GitHub 加速计划 / be / bert
14
2
下载
TensorFlow code and pre-trained models for BERT
最近提交(Master分支：18 天前 )
eedf5716
Add links to 24 smaller BERT models. 5 年前
8028c045 - 5 年前
旨在为数千万中国开发者提供一个无缝且高效的云端环境，以支持学习、使用和贡献开源项目。
更多推荐
2
0- 0
已为社区贡献1条内容
所有评论(0)