如何选取Bert输出层的维度

bert

TensorFlow code and pre-trained models for BERT

项目地址：https://gitcode.com/gh_mirrors/be/bert

免费下载资源

loveqiong2746

8519人浏览 · 2019-05-09 08:59:20

loveqiong2746 · 2019-05-09 08:59:20 发布

尝试了bert的-2层每个sentence被转化为128768 = 98304维的向量；-1层，每个sentence 被转化为7 768维向量在这里插入图片描述
尝试了后接轻量网络的维度设置，50维和10维

GitHub 加速计划 / be / bert

下载

TensorFlow code and pre-trained models for BERT

最近提交(Master分支：4 个月前 )

eedf5716 Add links to 24 smaller BERT models. 5 年前

8028c045 - 5 年前

AtomGit开源社区

AtomGit 是由开放原子开源基金会联合 CSDN 等生态伙伴共同推出的新一代开源与人工智能协作平台。平台坚持“开放、中立、公益”的理念，把代码托管、模型共享、数据集托管、智能体开发体验和算力服务整合在一起，为开发者提供从开发、训练到部署的一站式体验。

更多推荐

1.8B 体积、33 种语言互译｜腾讯混元 HY-MT1.5-1.8B 多语言机器翻译模型上线

在跨语言交流日益频繁的今天，阅读外语菜单、处理多语言邮件、与不同语言背景的人沟通，已经成为很多人日常工作与生活的一部分。过去，这类需求往往依赖联网翻译工具，而如今，—— 一部设备即可支持的相互翻译。当 AI 不再只是“逐字直译”，而是开始理解语境、风格与语言之间的细微差异，机器翻译就真正具备了今天为大家介绍一款高质量、多语言、支持端侧部署的机器翻译模型 ——，现已上线 AtomGit AI 社区，