大家都是用多大内存运行web_demo.py的啊

[anshiwangwang]

服务器32G的内存，每次运行都是imagebind能加载，一到Vicuna就被killed，看了后台应该是内存爆了。想问下有什么办法能解决一下嘛？万分感谢！！！

[We-IOT]

同问
Initializing language decoder from ../pretrained_ckpt/vicuna_ckpt/7b_v0 ...
Killed

[We-IOT]

看了源码，每次都是使用cpu加载，最后把多个模型加载完，再到cuda上，确实比较消耗内存，我的也是32G，确实在/vicuna_ckpt/7b_v0加载中就爆内存了。
解决方法也简单，增大swapfile就可以了。
目前在在完成后会到cuda，按照demo中模型加载后占用gpu接近20个G。

[ggamaz]

显存使用很少，但内存使用很大

[jovejnn]

有具体增加swapfile的教程吗，我增加了但是还是加载vicuna时被kill了