微调蒸馏训练时loss一直是nan

[DHY-2020]

楼主您好，非常感谢您的工作。
我现在碰到一个问题，模型剪枝后普通微调训练时没问题，但是使用微调蒸馏训练时loss一直为nan，不知道是什么原因

[ZJU-lishuang]

训练时部分loss值为nan，建议debug调试

[dddmmmyyy1998]

训练时部分loss值为nan，建议debug调试

您好，可以回答一下我发布的问题么？我在所有的best.pt权重上剪枝后的指标都是0，但是last.pt的指标是可以显示的。问题在列表中，我看您没有回复，谢谢

[sdustzcm1995]

楼主您好，非常感谢您的工作。 我现在碰到一个问题，模型剪枝后普通微调训练时没问题，但是使用微调蒸馏训练时loss一直为nan，不知道是什么原因

您好，请问问题解决了么？我也是同样的问题，跑了两步loss就nan了

[DHY-2020]

楼主您好，非常感谢您的工作。 我现在碰到一个问题，模型剪枝后普通微调训练时没问题，但是使用微调蒸馏训练时loss一直为nan，不知道是什么原因

您好，请问问题解决了么？我也是同样的问题，跑了两步loss就nan了
还没有解决

[sdustzcm1995]

楼主您好，非常感谢您的工作。 我现在碰到一个问题，模型剪枝后普通微调训练时没问题，但是使用微调蒸馏训练时loss一直为nan，不知道是什么原因

您好，请问问题解决了么？我也是同样的问题，跑了两步loss就nan了
还没有解决

好的，谢谢，再研究吧。谢谢您。

[Wanghe1997]

楼主您好，非常感谢您的工作。 我现在碰到一个问题，模型剪枝后普通微调训练时没问题，但是使用微调蒸馏训练时loss一直为nan，不知道是什么原因

你好，可以加个联系方式吗？知识蒸馏我运行遇到了问题，想请教一下，谢谢您

[Wanghe1997]

请问楼主您解决了吗？loss一直是nan的问题

[SCKnife]

请问楼上的各位，有解决了这个问题的吗？我也是跑了两步之后就开始变nan了！