onnxruntimeのSessionを解放してGPUメモリをリフレッシュできる仕組みを作る

[Hiroshiba]

内容

onnxruntimeはどうやら使用GPUメモリなどが増え続けてしまう問題があるという報告があります。
SessionをReleaseできれば解決するかもしれません。

• System memory leak on cuda GPU backend. microsoft/onnxruntime#8147
• how to release gpu memory when keep onnxruntime session around. microsoft/onnxruntime#9509

実装次第では、使っていないキャラクターのSessionを解放するといった需要も満たせると思います。

Pros 良くなる点

増え続けるGPUメモリ使用量をなんとかする方法が提供できる

Cons 悪くなる点

実現方法

load_charaterと同じインターフェイスでunload_characterを実装する？

OSの種類/ディストリ/バージョン

その他

コアを使うユーザー的にはVOICEVOX COREインスタンスを破棄すればだいたい同じことができるかも･･･？

[qwerty2501]

APIに手をくわえるならさきにAPIについての改修を終わらせたほうが良いかも
#280