关于模型微调的数据集

[yelinga]

你好，我将语法纠错模型训练的数据集定义成了这个样子，一行为一个样本，前面为包含语法错误的句子，后面为纠正后的句子，将这个数据集进行训练，但是，在训练过程中输出了如下信息：

貌似并没有将包含语法错误的句子和纠正后的句子分开，而是将句子对当作一个很长的句子，因为我理解的模型微调是在特定任务的数据集上进行训练，是有监督的数据，在模型训练过程中，包含语法错误的句子作为输入，纠正后的句子作为模型的输出，
但是您的代码貌似是通过无监督的数据进行训练，在训练过程中通过对无监督数据集进行词遮盖（mask），好像应该定义为进一步预训练，不知道我理解的是否正确
您训练过程中使用的数据集是语法错误纠正任务上的有监督的数据集还是通过无监督数据集进行进一步预训练的，期待您的回复。

[tongchangD]

谢谢你的关注
1.如你所述，训练集是一些很长的句子，用来微调bert模型；
2.如若你有一一对应或者知道错点的数据集，建议你使用我另一个仓进行尝试，可因个人原因，这ner仓不是最终版本代码。是前段时间有朋友想我更新，然后我临时出的简易版本，你可以凭借此思路继续做，此思路在实际项目中的实验效果还是蛮不错的，建议尝试。
另：这些项目对我来讲其实已经过去蛮久了，是上东家或自己的一些实验代码，提供了思路，你可以继续完善。有问题可直接call me。
加油！

[yelinga]

谢谢你的关注 1.如你所述，训练集是一些很长的句子，用来微调bert模型； 2.如若你有一一对应或者知道错点的数据集，建议你使用我另一个仓进行尝试，可因个人原因，这ner仓不是最终版本代码。是前段时间有朋友想我更新，然后我临时出的简易版本，你可以凭借此思路继续做，此思路在实际项目中的实验效果还是蛮不错的，建议尝试。 另：这些项目对我来讲其实已经过去蛮久了，是上东家或自己的一些实验代码，提供了思路，你可以继续完善。有问题可直接call me。 加油！

好的，谢谢