请问你这个Electra是有加NSP任务吗？

[Hanlard]

我在预处理那个文件里看到了NSP任务，我记得论文里还想没有提到NSP

[Hanlard]

还有，可以不可以公布一个中文版

[Hanlard]

if args.model_path:
    model = ElectraForPreTraining.from_pretrained(args.model_path)

这条语句ElectraForPreTraining里有一个生成器和一个判别器，使用.from_pretrained是载入哪一个模型呢

[lonePatient]

默认加的是判别器部分， 预训练时没有使用NSP，但是预处理部分直接使用的bert的，所以包含了NSP，但是在模型训练部分没有使用，现在huggingface已经支持了，建议使用huggingface（中文版同样适用），个人版本主要是当时huggingface还没出，自己转换的。