基于bert BERT 的中文问答系统谈fine-tune
bert
TensorFlow code and pre-trained models for BERT
项目地址:https://gitcode.com/gh_mirrors/be/bert
·
fine-tun有两种形式,google官网给出的run_classifier.py示例,是利用行业数据对bert的所有参数做微调。将text_a和text_b串接,最后层做一个二分类。
而另一种形式,是exact_featrue.py,保存bert特征作为输入,训练自己的较浅的神经网络模型。
google文献说fine-tune 所有参数的效果优于调整最后若干层。实验结果展示效果相近(个人认为我第二种方法额外添加层数较多相关)。
TensorFlow code and pre-trained models for BERT
最近提交(Master分支:4 个月前 )
eedf5716
Add links to 24 smaller BERT models. 5 年前
8028c045 - 5 年前
AtomGit 是由开放原子开源基金会联合 CSDN 等生态伙伴共同推出的新一代开源与人工智能协作平台。平台坚持“开放、中立、公益”的理念,把代码托管、模型共享、数据集托管、智能体开发体验和算力服务整合在一起,为开发者提供从开发、训练到部署的一站式体验。
更多推荐


所有评论(0)