SFormer

---

论文地址

尚未上传

结构说明

目录	说明
spliter.py	将中文原始语料预处理（通过正则表达式切分成简单句，并按句子数量分成不同txt文件）
model.py	模型的实现类
utils.py	预训练需要用到的工具类和函数
pretrain.py	预训练主入口

相关资源

• 经过预处理的中文语料，链接：https://pan.baidu.com/s/1UzFXeUv9SG93y9hz0jEGyw?pwd=4iw3
• 模型权重，chinese_sformer_L-6_H-768_A-12_S-8，链接：https://pan.baidu.com/s/1WiBu-_QLvVwmSblsVQwLlw?pwd=gv50
• 模型权重，chinese_sformer_L-6_H-768_A-12_S-16，链接：https://pan.baidu.com/s/1dlK2OfFhj7UTnGG_fUZBKA?pwd=sv4f
• Plato-memory，链接：https://github.com/Wu-Jiayang/Plato-memory
• 链接失效可联系[email protected]