[Question]我在做ControlNeXt-SDXL，用了Demo中的condition以及prompt，生成的图片有问题

[JingZz7]

生成的图片非常奇怪，这是什么原因呢，其他参数均保持默认

[JingZz7]

生成的图片很糟糕，但是不清楚什么原因，我无法在issue中上传图片

[Eugeoter]

请问是训练多少step生成的图片呢？如果是训练刚开始的话，生成一片噪声是正常的。

[JingZz7]

默认的20步，以下是生成的图片，实际上和Demo中的20步相距甚远

[Eugeoter]

请问你可以提供更多信息吗？例如，所执行的脚本及其参数？

[JingZz7]

python run_controlnext.py --pretrained_model_name_or_path "/nfs_notebook/zj/netaArtXL_v20.safetensors" \ --unet_model_name_or_path "/nfs_notebook/zj/controlnext-sdxl-anime-canny" \ --controlnet_model_name_or_path "/nfs_notebook/zj/controlnext-sdxl-anime-canny" \ --controlnet_scale 0 \ --vae_model_name_or_path "/nfs_notebook/zj/sdxl-vae-fp16-fix" \ --validation_prompt "best quality, 1 komeiji koishi, solo, the pose, indoors, smile" \ --negative_prompt "worst quality, abstract, clumsy pose, deformed hand, dynamic malformation, fused fingers, extra digits, fewer digits, fewer fingers, extra fingers, extra arm, missing arm, extra leg, missing leg, signature, artist name, multi views, disfigured, ugly" \ --validation_image "examples/anime_canny/condition_1.jpg" \ --output_dir "examples/anime_canny" \ --hf_cache_dir "/root/.cache" \ --load_weight_increasement \ --use_safetensors \ --variant fp16
以上是我在 /ControlNeXt/ControlNeXt-SDXL/examples/anime_canny/run.sh 中所用到的脚本，其中image、validation_prompt、negative_prompt均来自于Demo中，run_controlnext.py 中的参数均是default

[Eugeoter]

python run_controlnext.py --pretrained_model_name_or_path "/nfs_notebook/zj/netaArtXL_v20.safetensors" \ --unet_model_name_or_path "/nfs_notebook/zj/controlnext-sdxl-anime-canny" \ --controlnet_model_name_or_path "/nfs_notebook/zj/controlnext-sdxl-anime-canny" \ --controlnet_scale 0 \ --vae_model_name_or_path "/nfs_notebook/zj/sdxl-vae-fp16-fix" \ --validation_prompt "best quality, 1 komeiji koishi, solo, the pose, indoors, smile" \ --negative_prompt "worst quality, abstract, clumsy pose, deformed hand, dynamic malformation, fused fingers, extra digits, fewer digits, fewer fingers, extra fingers, extra arm, missing arm, extra leg, missing leg, signature, artist name, multi views, disfigured, ugly" \ --validation_image "examples/anime_canny/condition_1.jpg" \ --output_dir "examples/anime_canny" \ --hf_cache_dir "/root/.cache" \ --load_weight_increasement \ --use_safetensors \ --variant fp16 以上是我在 /ControlNeXt/ControlNeXt-SDXL/examples/anime_canny/run.sh 中所用到的脚本，其中image、validation_prompt、negative_prompt均来自于Demo中，run_controlnext.py 中的参数均是default

--controlnet_scale不应该是0。对于anime-canny，推荐的值是0.35~1之间。

但似乎只是没有controlnet_scale的话不至于成这样。你可以先尝试更改它为更高的值，若还有问题则继续联络我。