动手学深度学习：用 WikiText-2 构建 BERT 预训练数据集（MLM 与 NSP 全流程解析）

人工智能深度学习机器学习教程【免费下载链接】d2l-zh《动手学深度学习》面向中文读者、能运行、可讨论。中英文版被70多个国家的500多所大学用于教学。项目地址https://gitcode.com/GitHub_Trending/d2/d2l-zh点击查看免费下载在《动手学深度学习》d2l-zh中BERT 的预训练依赖两个核心任务——遮蔽语言模型Masked Language Modeling, MLM与下一句预测Next Sentence Prediction, NSP。本篇文章聚焦该仓库 chapter_natural-language-processing-pretraining/bert-dataset_origin.md 所讲解的数据集构建方法如何把 WikiText-2 语料逐层转换为可直接喂给 BERT 的预训练样本包括语料读取、NSP/MLM 样本生成、定长填充与Dataset封装。读完本文你将掌握从原始文本到 BERT 预训练数据管线的每一步实现并能在自定义语料上复现同样的预处理流程。为什么要自建 BERT 预训练数据集原始 BERT 模型在 BookCorpus 与英语维基百科两个超大语料库的拼接集上预训练对大多数学习者而言直接复现这一过程成本过高、难以运行。另一方面市面上现成的预训练 BERT 模型未必适合医学等特定领域的应用场景。因此在定制数据集上预训练 BERT 正变得越来越流行。为了便于演示 BERT 预训练本书选用体积更小的 WikiText-2 语料库。与之前用于预训练 word2vec 的 PTB 数据集见 chapter_natural-language-processing-pretraining/word-embedding-dataset_origin.md相比WikiText-2 有三个显著特点保留原始标点符号使其适合下一句预测任务保留原始大小写和数字规模是 PTB 的两倍以上。这些特性让 WikiText-2 成为兼顾演示成本与任务真实性的理想选择。WikiText-2 语料的下载与读取仓库通过d2l.DATA_HUB注册数据集下载条目并附带 SHA-1 校验值保证下载文件的完整性#save d2l.DATA_HUB[wikitext-2] ( https://s3.amazonaws.com/research.metamind.io/wikitext/ wikitext-2-v1.zip, 3c914d17d80b1459be871a5039ac23e752a53cbe)从源码看download会先检查本地缓存若文件已存在则计算其 SHA-1 并与注册值比对命中缓存则直接复用否则才发起下载见 d2l/torch.pydownload_extract随后将 zip/tar 包解压并返回数据目录见 d2l/torch.py。在 WikiText-2 中每一行代表一个段落且任意标点符号与其前面的词元之间都插入了空格。数据读取函数_read_wiki做三件事读取wiki.train.tokens文件、把所有大写字母转为小写、仅保留至少包含两个句子的段落并按 . 切分句子、最后随机打乱段落顺序#save def _read_wiki(data_dir): file_name os.path.join(data_dir, wiki.train.tokens) with open(file_name, r) as f: lines f.readlines() # 大写字母转换为小写字母 paragraphs [line.strip().lower().split( . ) for line in lines if len(line.split( . )) 2] random.shuffle(paragraphs) return paragraphs这里为了简单起见仅以句号作为拆分句子的唯一分隔符更复杂的句子拆分技术如 spaCy、NLTK留待文末练习探讨。函数的返回结构是段落 → 句子 → 词元的三重嵌套列表。为预训练任务定义辅助函数接下来为 BERT 的两个预训练任务实现辅助函数它们将在把原始文本语料转换为理想格式数据集时被依次调用。生成下一句预测NSP任务样本_get_next_sentence为二分类任务生成一个训练样本以 50% 概率保留真实的下一句is_next True另外 50% 概率从整个语料库中随机抽取一句替换掉下一句is_next False#tab all #save def _get_next_sentence(sentence, next_sentence, paragraphs): if random.random() 0.5: is_next True else: # paragraphs 是三重列表的嵌套 next_sentence random.choice(random.choice(paragraphs)) is_next False return sentence, next_sentence, is_next_get_nsp_data_from_paragraph则遍历段落中相邻的句子对调用上述函数生成 NSP 样本。这里max_len指定预训练期间 BERT 输入序列的最大长度。由于 BERT 输入序列需要包含1 个cls词元和 2 个sep词元因此当两个句子长度之和加 3 超过max_len时该样本被丢弃#tab all #save def _get_nsp_data_from_paragraph(paragraph, paragraphs, vocab, max_len): nsp_data_from_paragraph [] for i in range(len(paragraph) - 1): tokens_a, tokens_b, is_next _get_next_sentence( paragraph[i], paragraph[i 1], paragraphs) # 考虑 1 个 cls 词元和 2 个 sep 词元 if len(tokens_a) len(tokens_b) 3 max_len: continue tokens, segments d2l.get_tokens_and_segments(tokens_a, tokens_b) nsp_data_from_paragraph.append((tokens, segments, is_next)) return nsp_data_from_paragraph其中d2l.get_tokens_and_segments负责把两个句子拼装成 BERT 输入格式句子 A 前加cls、两句子间与末尾各加sep同时返回片段segment索引——片段 A 标记为 0、片段 B 标记为 1实现见 d2l/torch.py。这段逻辑正是 img/bert-input.svg 所展示的 BERT 输入表示中 token 与 segment 部分的来源。生成遮蔽语言模型MLM任务样本MLM 任务按 BERT 原文设定随机选择15%的词元进行预测。_replace_mlm_tokens在每个预测位置上执行三选一策略80% 的概率将该词替换为特殊的mask词元10% 的概率保持该词不变10% 的概率用词表中的随机词替换该词。#tab all #save def _replace_mlm_tokens(tokens, candidate_pred_positions, num_mlm_preds, vocab): # 为遮蔽语言模型的输入创建新的词元副本 # 其中输入可能包含替换的 mask 或随机词元 mlm_input_tokens [token for token in tokens] pred_positions_and_labels [] # 打乱后用于在遮蔽语言模型任务中获取 15% 的随机词元进行预测 random.shuffle(candidate_pred_positions) for mlm_pred_position in candidate_pred_positions: if len(pred_positions_and_labels) num_mlm_preds: break masked_token None # 80% 的时间将词替换为 mask 词元 if random.random() 0.8: masked_token mask else: # 10% 的时间保持词不变 if random.random() 0.5: masked_token tokens[mlm_pred_position] # 10% 的时间用随机词替换该词 else: masked_token random.choice(vocab.idx_to_token) mlm_input_tokens[mlm_pred_position] masked_token pred_positions_and_labels.append( (mlm_pred_position, tokens[mlm_pred_position])) return mlm_input_tokens, pred_positions_and_labels注意这里对candidate_pred_positions先做random.shuffle再逐个填充直到达到num_mlm_preds个预测位置为止从而保证预测位置在序列中随机分布。_get_mlm_data_from_tokens把上述逻辑封装成完整的数据变换先遍历输入词元排除cls、sep等特殊词元特殊词元在 MLM 任务中不被预测得到候选预测位置集合再按max(1, round(len(tokens) * 0.15))确定预测数量最后调用_replace_mlm_tokens并按位置排序后分别返回预测位置与标签的索引#tab all #save def _get_mlm_data_from_tokens(tokens, vocab): candidate_pred_positions [] # tokens 是一个字符串列表 for i, token in enumerate(tokens): # 在遮蔽语言模型任务中不会预测特殊词元 if token in [cls, sep]: continue candidate_pred_positions.append(i) # 遮蔽语言模型任务中预测 15% 的随机词元 num_mlm_preds max(1, round(len(tokens) * 0.15)) mlm_input_tokens, pred_positions_and_labels _replace_mlm_tokens( tokens, candidate_pred_positions, num_mlm_preds, vocab) pred_positions_and_labels sorted(pred_positions_and_labels, keylambda x: x[0]) pred_positions [v[0] for v in pred_positions_and_labels] mlm_pred_labels [v[1] for v in pred_positions_and_labels] return vocab[mlm_input_tokens], pred_positions, vocab[mlm_pred_labels]vocab[...]利用了词表对象的索引能力把词元字符串批量映射为整数索引。将文本转换为预训练数据集在定制Dataset类之前还需要一个_pad_bert_inputs辅助函数把所有样本补齐到统一的max_len以满足批处理要求。其核心要点包括用pad词元补齐token_ids用 0 补齐segmentsvalid_lens记录不含pad的真实长度预测位置不足max_num_mlm_preds即round(max_len * 0.15)时用 0 填充mlm_weights用1.0/0.0标记真实预测位置与填充位置——填充位置的预测会在损失计算时通过乘以 0 权重被过滤掉NSP 标签直接追加。PyTorch 实现如下MXNet 版本用np.array(..., dtypeint32)PaddlePaddle 版本用paddle.to_tensor(..., dtypepaddle.int64)三者逻辑完全一致#save def _pad_bert_inputs(examples, max_len, vocab): max_num_mlm_preds round(max_len * 0.15) all_token_ids, all_segments, valid_lens, [], [], [] all_pred_positions, all_mlm_weights, all_mlm_labels [], [], [] nsp_labels [] for (token_ids, pred_positions, mlm_pred_label_ids, segments, is_next) in examples: all_token_ids.append(torch.tensor(token_ids [vocab[pad]] * ( max_len - len(token_ids)), dtypetorch.long)) all_segments.append(torch.tensor(segments [0] * ( max_len - len(segments)), dtypetorch.long)) # valid_lens 不包括 pad 的计数 valid_lens.append(torch.tensor(len(token_ids), dtypetorch.float32)) all_pred_positions.append(torch.tensor(pred_positions [0] * ( max_num_mlm_preds - len(pred_positions)), dtypetorch.long)) # 填充词元的预测将通过乘以 0 权重在损失中过滤掉 all_mlm_weights.append( torch.tensor([1.0] * len(mlm_pred_label_ids) [0.0] * ( max_num_mlm_preds - len(pred_positions)), dtypetorch.float32)) all_mlm_labels.append(torch.tensor(mlm_pred_label_ids [0] * ( max_num_mlm_preds - len(mlm_pred_label_ids)), dtypetorch.long)) nsp_labels.append(torch.tensor(is_next, dtypetorch.long)) return (all_token_ids, all_segments, valid_lens, all_pred_positions, all_mlm_weights, all_mlm_labels, nsp_labels)定制_WikiTextDataset数据集类把两个预训练任务的样本生成函数与填充函数组合起来得到_WikiTextDataset类。其构造函数分四步完成从语料到样本的转换词元化用d2l.tokenize(paragraph, tokenword)把段落字符串切分为词元列表tokenize的 word 模式即按空白分词见 d2l/torch.py构建词表用d2l.Vocab统计全部句子设置min_freq5过滤掉出现次数少于 5 次的低频词元并预留pad、mask、cls、sep四个特殊词元。词表按出现频率降序排列unk占据索引 0见 d2l/torch.py生成样本先为每个段落生成 NSP 样本再对每个样本调用_get_mlm_data_from_tokens附加 MLM 预测位置与标签定长填充调用_pad_bert_inputs把所有字段转换为等长张量。通过实现__getitem__可以按索引任意访问从 WikiText-2 语料库中一对句子生成的预训练样本#save class _WikiTextDataset(torch.utils.data.Dataset): def __init__(self, paragraphs, max_len): # 输入 paragraphs[i] 是代表段落的句子字符串列表 # 而输出 paragraphs[i] 是代表段落的句子列表其中每个句子都是词元列表 paragraphs [d2l.tokenize( paragraph, tokenword) for paragraph in paragraphs] sentences [sentence for paragraph in paragraphs for sentence in paragraph] self.vocab d2l.Vocab(sentences, min_freq5, reserved_tokens[ pad, mask, cls, sep]) # 获取下一句预测任务的数据 examples [] for paragraph in paragraphs: examples.extend(_get_nsp_data_from_paragraph( paragraph, paragraphs, self.vocab, max_len)) # 获取遮蔽语言模型任务的数据 examples [(_get_mlm_data_from_tokens(tokens, self.vocab) (segments, is_next)) for tokens, segments, is_next in examples] # 填充输入 (self.all_token_ids, self.all_segments, self.valid_lens, self.all_pred_positions, self.all_mlm_weights, self.all_mlm_labels, self.nsp_labels) _pad_bert_inputs( examples, max_len, self.vocab) def __getitem__(self, idx): return (self.all_token_ids[idx], self.all_segments[idx], self.valid_lens[idx], self.all_pred_positions[idx], self.all_mlm_weights[idx], self.all_mlm_labels[idx], self.nsp_labels[idx]) def __len__(self): return len(self.all_token_ids)需要说明的是原始的 BERT 模型使用词表大小为 30000 的 WordPiece 嵌入其词元化方法是对原始字节对编码BPE算法的轻微修改。为简化演示本书直接使用d2l.tokenize进行按词分词并用min_freq5过滤低频词元。另外同一实现也以gluon.data.DatasetMXNet与paddle.io.DatasetPaddlePaddle形式存在于仓库的 d2l/mxnet.py 与 d2l/paddle.py 中。加载函数load_data_wiki将_read_wiki与_WikiTextDataset组合即得到统一的加载入口下载并解压 WikiText-2读取段落构建数据集再用DataLoader封装为可迭代的训练批次同时返回词表供后续模型使用#save def load_data_wiki(batch_size, max_len): 加载 WikiText-2 数据集 num_workers d2l.get_dataloader_workers() data_dir d2l.download_extract(wikitext-2, wikitext-2) paragraphs _read_wiki(data_dir) train_set _WikiTextDataset(paragraphs, max_len) train_iter torch.utils.data.DataLoader(train_set, batch_size, shuffleTrue, num_workersnum_workers) return train_iter, train_set.vocab其中d2l.get_dataloader_workers()在源码中固定返回 4表示用 4 个进程并行读取数据见 d2l/torch.py。该函数也是 chapter_natural-language-processing-pretraining/bert-pretraining.md 中正式启动 BERT 预训练时调用的数据入口。加载并检查预训练样本的形状将批量大小设为 512、BERT 输入序列的最大长度设为 64即可加载数据并打印一个小批量的样本形状batch_size, max_len 512, 64 train_iter, vocab load_data_wiki(batch_size, max_len) for (tokens_X, segments_X, valid_lens_x, pred_positions_X, mlm_weights_X, mlm_Y, nsp_y) in train_iter: print(tokens_X.shape, segments_X.shape, valid_lens_x.shape, pred_positions_X.shape, mlm_weights_X.shape, mlm_Y.shape, nsp_y.shape) break输出结果中tokens_X、segments_X形状为(512, 64)valid_lens_x为(512,)由于每个 BERT 输入序列中为 MLM 任务预测的位置数是64 × 0.15 10因此pred_positions_X、mlm_weights_X、mlm_Y的形状均为(512, 10)而nsp_y为(512,)。最后查看词表大小。即使在过滤掉低频词元之后WikiText-2 的词表规模仍然比 PTB 数据集大两倍以上len(vocab)小结与 PTB 数据集相比WikiText-2 保留了原始标点、大小写和数字且规模大两倍以上通过_WikiTextDataset与load_data_wiki可以任意访问从 WikiText-2 语料库中的句子对生成的预训练样本遮蔽语言模型 下一句预测并直接喂给后续的 BERT 预训练流程。练习进一步探索为简单起见句号被用作拆分句子的唯一分隔符。尝试其他句子拆分技术例如 spaCy 与 NLTK。以 NLTK 为例先安装pip install nltk在代码中import nltk再下载 Punkt 语句词元分析器nltk.download(punkt)。对句子sentences This is great ! Why not ?调用nltk.tokenize.sent_tokenize(sentences)会返回两个句子的字符串列表[This is great !, Why not ?]。思考如果不过滤任何低频词元词表规模会有多大这会对 MLM 任务的随机替换策略和模型参数量带来什么影响附本数据管线的源码依据本文所有代码与逻辑均可在该仓库中逐一核对数据注册与下载/解压d2l.DATA_HUB[wikitext-2]与download/download_extractd2l/torch.pymxnet/paddle 版本位于 d2l/mxnet.py 与 d2l/paddle.py词元化与词表构建d2l.tokenize、d2l.Vocabd2l/torch.py输入序列拼装d2l.get_tokens_and_segmentsd2l/torch.py数据加载进程数d2l.get_dataloader_workersd2l/torch.py下游使用BERT 预训练正文 chapter_natural-language-processing-pretraining/bert-pretraining.md 通过load_data_wiki(batch_size, max_len)接入本数据集。赞分享人工智能深度学习机器学习教程【免费下载链接】d2l-zh《动手学深度学习》面向中文读者、能运行、可讨论。中英文版被70多个国家的500多所大学用于教学。项目地址https://gitcode.com/GitHub_Trending/d2/d2l-zh点击查看免费下载相关推荐《动手学深度学习》实战从零预训练 BERTWikiText-2 上的 MLM 与 NSP 联合训练《动手学深度学习》实战从零预训练 BERTWikiText 2 上的 MLM 与 NSP 联合训练 在《动手学深度学习》开源仓库中前面章节已经完成了 B人工智能深度学习机器学习教程PaddlePaddle深度学习实践BERT预训练数据集构建详解PaddlePaddle深度学习实践BERT预训练数据集构建详解 BERT作为当前最强大的自然语言处理模型之一其预训练过程需要精心设计的数据集。本文将基于P文档教程人工智能深度学习《动手学深度学习》实战基于 WikiText-2 从零预训练 BERT 模型遮蔽语言模型 下一句预测《动手学深度学习》实战基于 WikiText 2 从零预训练 BERT 模型遮蔽语言模型 下一句预测 本篇技术指南以 d2l zh https://l人工智能深度学习机器学习教程创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考