transformers DataCollatorForWholeWordMask类
transformers
huggingface/transformers: 是一个基于 Python 的自然语言处理库,它使用了 PostgreSQL 数据库存储数据。适合用于自然语言处理任务的开发和实现,特别是对于需要使用 Python 和 PostgreSQL 数据库的场景。特点是自然语言处理库、Python、PostgreSQL 数据库。
项目地址:https://gitcode.com/gh_mirrors/tra/transformers
免费下载资源
·
构造方法
DataCollatorForWholeWordMask(
tokenizer: PreTrainedTokenizerBase,
mlm: bool = True,
mlm_probability: float = 0.15,
pad_to_multiple_of: typing.Optional[int] = None,
tf_experimental_compile: bool = False,
return_tensors: str = 'pt' )
在构建MLM时,15%的Word piece会被mask,这15%中,80%会直接替换为[Mask],10%将其替换为其他任意单词,10%保留原始token。
而WWM(Whole Word Masking)将整词mask,改变了原来预训练阶段的训练样本生成策略。原有的基于wordPiece的分词方式将一个完整的词切分为若干子词,预训练阶段字词被分开随机mask。而www采取的措施是,一个完整的词被mask,同属于该词的其他部分也会被mask,即全词mask。
参数tokenizer表示对句子编码的分词器。
参数mlm表示是否使用MLM模型,也就是会随机的Mask掉序列中的一部分Token。该参数设置为True时,也就是使用MLM模型时,会将输入数据的labels中没有被mask掉的token的值设置为-100,被mask掉的token的值设置为原来的值。
参数mlm_probability表示被mask掉的词,而非字,占序列的长度。也可以说是mask掉词的概率。
参数pad_to_multiple_of表示填充的序列的倍数。
参数return_tensors表示返回数据的类型,有三个可选项,分别是"tf"、“pt”、“np”,分别表示tensorflow可以处理的数据类型,pytorch可以处理的数据类型以及numpy数据类型。
使用示例
def preprocess_fn(data):
data = {k: sum(data[k], []) for k in data.keys()}
length = len(data["input_ids"]) // 128 * 128
result = {k: [v[i: i + 128] for i in range(0, length, 128)] for k, v in data.items()}
result["labels"] = result["input_ids"].copy()
return result
dataset = datasets.load_dataset("wikitext", "wikitext-2-raw-v1")
tokenizer = transformers.AutoTokenizer.from_pretrained("bert-wwm")
data_collator = transformers.DataCollatorForWholeWordMask(tokenizer=tokenizer,
mlm_probability=0.15,
return_tensors="tf")
dataset = dataset.map(lambda data: tokenizer(data["text"], truncation=True),
batched=True,
batch_size=1000,
remove_columns=["text"])
dataset = dataset.map(preprocess_fn,
batched=True,
batch_size=1000)
train_dataset = dataset["train"].to_tf_dataset(columns=["input_ids", "attention_mask", "labels"],
batch_size=16,
shuffle=True,
collate_fn=data_collator)
GitHub 加速计划 / tra / transformers
62
5
下载
huggingface/transformers: 是一个基于 Python 的自然语言处理库,它使用了 PostgreSQL 数据库存储数据。适合用于自然语言处理任务的开发和实现,特别是对于需要使用 Python 和 PostgreSQL 数据库的场景。特点是自然语言处理库、Python、PostgreSQL 数据库。
最近提交(Master分支:4 个月前 )
6e0515e9
* added changes from 32905
* fixed mistakes caused by select all paste
* rename diff_dinov2...
* ran tests
* Fix modular
* Fix tests
* Use new init
* Simplify drop path
* Convert all checkpoints
* Add figure and summary
* Update paths
* Update docs
* Update docs
* Update toctree
* Update docs
---------
Co-authored-by: BernardZach <bernardzach00@gmail.com>
Co-authored-by: Zach Bernard <132859071+BernardZach@users.noreply.github.com> 3 天前
d8c1db2f
Signed-off-by: jiqing-feng <jiqing.feng@intel.com> 3 天前
更多推荐
已为社区贡献7条内容
所有评论(0)