用的是transformers，进入 hugging face 的这个网站：bert-base-chinese · Hugging Face

在 Files and Versions 中对应下载或另存为(有的下完要重命名一下)

所需要的就是 config.json,   pytorch_model.bin, vocab.txt 这几个文件

建立了如下文件夹路径来存放这些文件

└─bert
    │  vocab.txt
    │  
    └─bert-base-chinese
            config.json
            pytorch_model.bin

from transformers import BertTokenizer

vocab_file = 'bert/vocab.txt'

tokenizer = BertTokenizer(vocab_file)
from transformers.modeling_bert import BertModel

bert = BertModel.from_pretrained("bert/bert-base-chinese/")

此处用的 transformers的版本是3.2.0

往下具体再怎么使用，可以去github找一些具体任务，

如文本分类之类的项目代码，看处理步骤。

放一个我以前跟着做的法研杯的一个任务，有基线代码

学会使用pytorch的bert也是从这个基线代码学到的，不过单机多卡的分布式训练还没搞懂：

CAIL2020-Argument-Mining/model.py at master · gaoyixu/CAIL2020-Argument-Mining · GitHubhttps://github.com/gaoyixu/CAIL2020-Argument-Mining/blob/master/model.py#L28

CAIL2020-Argument-Mining/data.py at master · gaoyixu/CAIL2020-Argument-Mining · GitHubhttps://github.com/gaoyixu/CAIL2020-Argument-Mining/blob/master/data.py#L117

# 自然语言处理 # 深度学习 # pytorch # nlp
Logo
GitCode 开源社区

旨在为数千万中国开发者提供一个无缝且高效的云端环境，以支持学习、使用和贡献开源项目。

更多推荐

[转载]在Windows环境下安装GNU Radio

转自：在Windows环境下安装GNURadio_恐弱智_新浪博客GNU Radio是用Python开发的，大部分开源的工程能够在Linux环境下运行良好，而Windows下却运行的很勉强，而且安装配置都很复杂。GNU Radio算是个例外了，不光提供了Windows的二进制安装，还有比较详细的说明。我是Python小白，所以折腾了好久才弄好，特意记录下来，免得以后再装还折腾。GNU Radio的

avatar GitCode 开源社区

centOS 8 使用dnf安装Docker

DNF是什么？CentOS 8使用YUM软件包管理器版本v4.0.4。现在，该版本使用DNF(已删除YUM)。DNF是软件包管理器。它会在Linux发行版上安装，执行更新并删除软件包。使用DNF安装Docker跳过具有损坏依赖性的程序包一个有效的解决方案是使您的CentOS 8系统使用以下--nobest命令安装最符合条件的版本：sudo dnf install docker...

avatar GitCode 开源社区

定时同步数据库表(mysql+linux+crontab)

sync.sh里面的参数需要改变，ip/username/password/database/tablesync.sh#!/bin/sh# Please change the IP and password of the data source db.# Then change the table name.filename=/home/nington/db/$(date +%Y-%m

avatar GitCode 开源社区