推理耗时问题

[zeng121]

我用torch.2.1.0+cuda11.8和torch2.2.0+cuda11.8推理同一张图，前者比后者慢了10多秒，目前定位到耗时主要在unet去噪部分：
latents = self.noise_scheduler.step(
noise_pred, t, latents, **extra_step_kwargs
).prev_sample

求大佬解答

[Zheng-Chong]

推理时间与 Inference_step, 是否使用 CFG, 模型精度设置，输入和输出图像尺寸、显卡性能等有关，应该和 torch 版本没有关系，但我并没有进行过 torch 版本的相关测试，无法确定是否有两个版本会导致推理速度差异，建议使用项目中指定的 torch版本 。