关于如何设计有效的实验，如何分析实验？

[fengshi-cherish]

我个人觉得实验这块不管是研究还是工业落地，都是比较重要的一环，而我自己也经常困惑，该怎么去设计实验，怎么去验证我的一个大的想法是对的呢？一个东西受很多因素影响，比如模型结构，比如训练参数，比如一些loss的设计，那我如何去设计实验，去得到有用的结论呢，或者说设计实验有什么原则么？也如之前讨论的resnet中说的，其实plain模型和有residual connection的模型实验并不能说明residual model更好，而是plain model是没有训好或者说不容易训。那是否有什么比较好的实验范例可以让我们学习呢？我觉得除去论文本身idea的novelty，怎么去一步步设计实验也挺重要的？

[mli]

主实验一般是按着前人工作来。自己做一点ablation study，这个确实看你提出了什么，一个一个测