Pocket GLUE in Torch

NLP做分类任务时常需要提交自己的算法到GLUE进行评测，可是就能找到的评测代码而言，它们不太容易读懂和修改（毕竟耦合了其他很多操作）。因此，就打算写一个袖珍版的GLUE评测代码，供大家使用。所有任务经过测试，已复现官方效果，且大多数高于官方。

GLUE benchmark: General Language UnderstandingEvaluation

⭐️欢迎star和提问～

实验结果：

• val set:

Task	Metric	BERT-base*	BERT-base#
CoLA	Matthews corr	56.53	57.11
SST-2	Accuracy	92.32	92.66
MRPC	F1/Accuracy	88.85/84.07	89.00/84.64
STS-B	Pearson/Spearman corr	88.64/88.48	89.13/88.54
QQP	Accuracy/F1	90.71/87.49	90.84/87.70
MNLI	M acc/MisM acc	83.91/84.10	83.27/83.65
QNLI	Accuracy	90.66	91.47
RTE	Accuracy	65.70	72.20
WNLI	Accuracy	56.34	56.34

* Huggingface # Our

• test set:

使用

• 下载GLUE数据集，若不方便可从以下链接下载：

  百度网盘	链接	提取码: 94jy
  腾讯微云	链接	无提取码

• 下载bert预训练的权重(这里使用的是HuggingFace的bert)到指定文件夹；

• 代码组成。运行时配置好超参和环境之后直接python main.py即可

  ├── main.py
  ├── config.py ## 配置超参数  
  ├── load_data.py ## 加载GLUE的数据
  ├── helper.py ## 设置随机种子
  ├── requirements.txt ## 环境
  

交流可加微信：Yunpengtai