关于module_util.py中的CrossLinearAttention

[caoyue2020]

作者您好，我在module_util.py中看到了CrossLinearAttention，看起来应该是用来替换UNet尺寸较大的几个阶段的Attention的，但是为什么最终没有使用呢？

[Algolzw]

你好，因为尺寸较大时cross linear attention也很吃显存且最终发现前几层使用cross linear attention效果提升也并不大所以弃用了。