关于BN层冻结与batch_size过小的问题

[jintaiyang777]

请教一个问题，训练集图片这么大，训练时的batch_size应该是比较小的，那么BN层需要冻结吗，当时您是怎么做的

[zlckanata]

如果单卡batchsize只能设置为1，那么一定需要对BN进行特殊操作，例如跨卡BN、冻结BN等。
如果单卡batchsize不小于2，那么BN还是有意义的，可以选择正常使用。

[jintaiyang777]

好的，多谢~，我今天下午也刚实验了下，在别的小数据集上训练的，我的单卡batchsize为3，将BN冻结后最后效果有一点点提升。