ONNX Runtime本体にマージされたRust実装を使う

[qryxip]

内容

日本時間で2023年2月9日、ONNX Runtime本体へのRustバインディング追加のPRがマージされました。

まだ深く触れたりした訳ではないのですが、onnxruntime-rsとの最大の違いとしてはonnxruntime.dllの読み込みがdlopen/LoadLibrary*ベースになったことが挙げられるのではないかと思います。DLLのパスを指定することもできます。ただし読み込んだDLLはEnvironment共々OnceCellで管理されるみたいなので、DLLの読み直しはできなさそうです。

onnxruntime::environment::Environment::with_library_path

あとはORT_RUST_STRATEGY=compileという指定でonnxruntime.dllのダウンロードするのではなく手元でCMakeする選択肢が入ったことでしょうか (あと何故かこっちがデフォルトになってます)。

Pros 良くなる点

個人的な意見としては、dlopen/LoadLibrary*ベースになったことはVOICEVOX COREにとっても大きいと思ってます。
DLLが無いときには人間が読めるメッセージを出せますし、voicevox_core.dllの読み込みからinitializeまでの間にonnxruntime.dllをどっかからダウンロードしてくる機構も考えられます。あとはrpathの指定や$ORT_OUT_DIRでのハックも不要になりますし、Python APIの取り回しも良くなるでしょう。

Cons 悪くなる点

実現方法

必要であるならVOICEVOX/onnxruntimeとしてフォークし、onnxruntime-rsから切り替える。

VOICEVOXのバージョン

OSの種類/ディストリ/バージョン

• Windows
• macOS
• Linux

その他

[Hiroshiba]

issue作成ありがとうございます！！
移行を検討しても良いのかなと思いました！

VOICEVOXのonnxruntime-rsはいくつかの変更が加わっていますが、これらの差分がなくても大丈夫なのかは検討しないとかも？
https://github.com/VOICEVOX/onnxruntime-rs/pulls?q=is%3Apr+sort%3Aupdated-desc+is%3Amerged

[qryxip]

また追加しなおす必要がありそうですね。

これの /onnxruntime/src/部分をそのまま移植すればよさそうではあります。 いやビルド部分も要りますね
https://github.com/VOICEVOX/onnxruntime-rs/compare/cd5a6ebae8abc06080f4da9a248be590fc6ce2fe..405f62fb53df1b59b0e69adafbd1c28e4d5c2787

[Hiroshiba]

こちらのタスクですが、とりあえず本家onnxruntimeのリポジトリをforkしていろいろ進めています！
https://github.com/VOICEVOX/onnxruntime

fork側のissueはこちらです。

• VOICEVOXコアの依存をonnxruntime-rsから、本家のonnxruntime Rustバインディングに変更する onnxruntime#3

onnxruntimeリポジトリの修正は↑のissueで続けると良さそうで、
それをコアに導入するとかはコア側のissueで続けると良いのかなと！

[qryxip]

#725 により、一旦不要になったと思います。
(今microsoft/onnxruntime見に行ったら、未だに全く動きが無かった…)