深度学习
分词器 标签描述

使用hugging-face中的预训练语言模型bert-base-chinese来完成二分类任务,整体流程为: 1.定义数据集 2.加载词表和分词器 3.加载预训练模型 4.定义下游任务模型 5.训练下游任务模型 6.测试 具体代码如下: 1.定义数据集 importtorch fromdatasetsimportload_from_disk classDataset(torch.utils.data.Dataset): def__init__(self,path): self.dataset=load_from_disk(path) def__len__(self): returnlen...