gh actionsで追加およびmanylinuxでビルドできるように変更 #693

tuna2134 · 2023-11-25T02:58:57Z

内容

PyPIにアップロードするにあたって、生成されるwheelのプラットフォームタグが対応していないため

その他

Patch 1

ふう

修正

tuna2134 · 2023-11-25T03:11:21Z

🔐 Using trusted publisher for upload
🚀 Uploading 30 packages
💥 maturin failed
  Caused by: 💥 Failed to upload "voicevox-0.0.0-cp310-cp310-linux_aarch64.whl" (1.5 MB)
  Caused by: Failed to upload the wheel with status 400: <html>
 <head>
  <title>400 Binary wheel 'voicevox-0.0.0-cp310-cp310-linux_aarch64.whl' has an unsupported platform tag 'linux_aarch64'.</title>
 </head>
 <body>
  <h1>400 Binary wheel 'voicevox-0.0.0-cp310-cp310-linux_aarch64.whl' has an unsupported platform tag 'linux_aarch64'.</h1>
  The server could not comply with the request since it is either malformed or otherwise incorrect.<br/><br/>
Binary wheel &#x27;voicevox-0.0.0-cp310-cp310-linux_aarch64.whl&#x27; has an unsupported platform tag &#x27;linux_aarch64&#x27;.

tuna2134 · 2023-11-25T03:11:47Z

ちなみにx86_64でも起きます。

Hiroshiba · 2023-11-25T03:12:22Z

PRありがとうございます！
そもそもauditwheelは普通ONにする感じなんでしょうか。

Linuxでlibonnxruntime.so.*の不在を許してもらう

こちらのコメントがスルーされてるかもです。
このコメント通りだと、falseにするとビルドが通らないかも･･･？

tuna2134 · 2023-11-25T03:15:02Z

PRありがとうございます！そもそもauditwheelは普通ONにする感じなんでしょうか。

Linuxでlibonnxruntime.so.*の不在を許してもらう

こちらのコメントがスルーされてるかもです。このコメント通りだと、falseにするとビルドが通らないかも･･･？

手元環境で通ったので、ひょっとしたらwheelに同胞しないようにするためなのではないのでしょうか、、、？
当時の担当者ではないのでなんとも言えないのですが、、、

Hiroshiba · 2023-11-25T03:23:06Z

@tuna2134 なるほどです。
少なくともコメントは消しておいた方が良さそうかもとか思いました！

Github actions見る感じエラーになってそうでした。audit-wheel関連だと思ったのですが、なんかエラーメッセージがよくわかんないですね。。。
https://github.com/VOICEVOX/voicevox_core/actions/runs/6986624508/job/19012505094?pr=693

💥 maturin failed
  Caused by: Failed to parse patchelf version
  Caused by: unexpected end of input while parsing minor version number

tuna2134 · 2023-11-25T03:24:40Z

@tuna2134 なるほどです。少なくともコメントは消しておいた方が良さそうかもとか思いました！

Github actions見る感じエラーになってそうでした。audit-wheel関連だと思ったのですが、なんかエラーメッセージがよくわかんないですね。。。 https://github.com/VOICEVOX/voicevox_core/actions/runs/6986624508/job/19012505094?pr=693
💥 maturin failed
  Caused by: Failed to parse patchelf version
  Caused by: unexpected end of input while parsing minor version number

多分バージョンの形式が不適切だからかと、、、？

Hiroshiba · 2023-11-25T03:30:04Z

patchelfに問題がありそうで、まあ確かにバージョンはsemver的におかしそうですが、なんで今これがエラー出た感じなんですかね。。
https://pypi.org/project/patchelf/

例えばこっちではエラーが出てないので･･･

音声合成の処理を丸ごとスレッド分離して実行する #692

tuna2134 · 2023-11-25T03:39:16Z

patchelfに問題がありそうで、まあ確かにバージョンはsemver的におかしそうですが、なんで今これがエラー出た感じなんですかね。。 https://pypi.org/project/patchelf/

例えばこっちではエラーが出てないので･･･

音声合成の処理を丸ごとスレッド分離して実行する #692

うーん、多分patchelfがmanylinuxにする上で動くようになったとか？ですかね、、、

Hiroshiba · 2023-11-25T03:43:08Z

@tuna2134 全く同じことを考えてました！
今 @qryxip さんが確認してくださってるのですが、ローカル環境で同じことを試してもエラーが出ない、みたいな状況です。
追加でCUDAがonになっていたり、ubuntu20であることが条件かも。

どちらにせよ、これどうやって迂回すればいいんですかね。。。。。。。

qryxip · 2023-11-25T03:44:30Z

ここにx.y.z.wみたいなpatchelfのバージョンが来て死んでいるのはほぼ間違い無いと思います。skip_auditwheelsで今までは抑えられていたところですかね...?

https://github.com/PyO3/maturin/blob/v1.3.2/src/auditwheel/patchelf.rs#L21

qryxip · 2023-11-25T03:50:06Z

バージョンはPythonパッケージではなく、ここから.strip_prefix("patchelf")して.trim()して0.17.2のように読んでいるようです。ここが変なことになってそう。

❯ patchelf --version
patchelf 0.17.2

Hiroshiba · 2023-11-25T03:55:41Z

@qryxip @tuna2134 分かった気がします！
ubuntu20のgithub actions環境だと、デフォルトで入っているpatchelfのバージョンが0.10でした。
これがマイナーバージョンのパースエラーになってるのかなと！！

qryxip · 2023-11-25T04:01:58Z

PythonパッケージのpatchelfがPython環境下にpatchelf(1)をインストールするはずですが、そっちに$PATHが通ってなくて/usr/bin/patchelfを使おうとしているとかでしょうか...?

qryxip · 2023-11-25T04:08:51Z

↑いやmaturinが使えてる時点で$PATHは通ってますね。patchelf(1)のインストールがスキップされている可能性はありますが。

tuna2134 · 2023-11-25T04:59:19Z

@qryxip @tuna2134 分かった気がします！ ubuntu20のgithub actions環境だと、デフォルトで入っているpatchelfのバージョンが0.10でした。これがマイナーバージョンのパースエラーになってるのかなと！！

ふむふむ、なるほど

Patchelf

thin

tuna2134 · 2023-12-27T09:28:39Z

チェックお願いします

Patch 1

Hiroshiba · 2023-12-29T04:24:19Z

テスト用のPyPIにあるvoicevoxのインストールを試してみました！！！
↓でいけますね！

pip install --extra-index-url https://test.pypi.org/simple/ voicevox

エラーになったのと、気になった点がいくつかあったのでコメントです！！

pydanticのインストールに失敗する（なんで･･･？）
- test PyPIのpydanticをインストールしようとしちゃってるだけ？
- 別でpip install pydanticすれば通る
onnxruntime.dllっぽいのが同梱されてるけど、見えてないっぽいエラーが返る
- The given version [14] is not supported, only version 1 to 10 is supported in this build.
- Windowsデフォルトのonnxruntimeが使われた時に気付けるようにしたい #644 と同じエラー（Windows初期搭載のonnxruntimeを見てしまっている）
- やっぱり同梱してもその動的ファイルを参照してくれない･･･？
- だとしてもダウンローダーを使って別途ダウンロードが必要なことを案内すればよさそう

tuna2134 · 2024-01-01T10:54:35Z

linuxのwheelのみonnxruntimeのリンクファイルを切り離したいけど、どうすればいいんだ？
auditwheel無効にすると、アップロードできないし、、、

Hiroshiba · 2024-01-01T11:15:52Z

えっと、文脈を整理すると、

Linuxではonnxruntimeの動的ライブラリがwheel内に入るけど、win/macではなぜか入らない。
win/macの方に動的ライブラリが入るようにするか、linuxの方から動的ライブラリを抜くと良さそう
後者でやるとして、onnxruntime.soだけ抜く方法がわからない

って感じですよね！

うーーーーーーん。どうすれば良いんでしょう。。。
そもそもonnxruntime-rsとmaturinの連携が良くないのか、maturinの挙動を単純に理解できないのか、どっちかわからない気がしていて根が深い気がしますね･･･。
個人的には、linuxだけ.soが含まれちゃってるけど、まあ実行はできるので、将来なんとかしたいものとしつつとりあえずpip installできる形を目指しても良いのかなとちょっと思いました！

（あ、もし @qryxip さん的に思い当たるフシがあればお聞きしたいです。）

Hiroshiba · 2024-01-07T08:53:42Z

.github/workflows/CI.yml

ライブラリをビルドするコードはbuild_and_deploy.ymlに固まっているのですが、こちらに移すことは可能そうでしょうか･･･？ 👀
おそらくほぼ同じコードをビルドしているので、コード量やビルド時間をぐっと減らせそうなのですが、どうでしょうか･･･？

ビルドしているのはこのあたりです↓

voicevox_core/.github/workflows/build_and_deploy.yml

Lines 272 to 290 in 4e13bca

- name: build voicevox_core_python_api

if: matrix.whl_local_version

id: build-voicevox-core-python-api

run: |

rm -rf ./target/wheels

pip install --upgrade poetry

poetry config virtualenvs.create false

(cd crates/voicevox_core_python_api && poetry install --with dev)

function build() {

maturin build --manifest-path ./crates/voicevox_core_python_api/Cargo.toml --features ${{ matrix.features }}, --target ${{ matrix.target }} --release

}

if ${{ !inputs.is_production }}; then

build

else

build > /dev/null 2>&1

fi

echo "whl=$(find ./target/wheels -type f)" >> "$GITHUB_OUTPUT"

env:

ORT_USE_CUDA: ${{ matrix.use_cuda }}

別のことで忙しくて返信が遅れてしまいました！
できそうかと思われます。

お久しぶりです！こちらも別タスクが忙しかったので大丈夫です！
もしよければ完成まで進められると嬉しいです！！

今からまとめてみようと思います、、、！

ありがとうございます、お待ちしてます･･･！

qryxip · 2024-07-08T00:54:30Z

#802 によりONNX Runtimeをリンクしなくなったので、その辺はもう悩まなくて済みそうです。
(あと #806 でskip-auditwheel = trueを消しました)

tuna2134 · 2024-07-08T09:06:12Z

#802 によりONNX Runtimeをリンクしなくなったので、その辺はもう悩まなくて済みそうです。 (あと #806 でskip-auditwheel = trueを消しました)

ありがとうございます。

mc_fdc and others added 25 commits November 1, 2023 20:39

Create CI.yml

e3a6a01

Merge branch 'VOICEVOX:main' into patch-1

88d3565

Merge branch 'VOICEVOX:main' into patch-1

c3ffca8

Merge pull request #3 from tuna2134/patch-1

5f8635d

Patch 1

Update CI.yml

670fa97

Update CI.yml

73b949d

勝利宣言

f1998ac

Update CI.yml

6c3042a

Update CI.yml

ee0180f

Update CI.yml

f632406

Merge pull request #4 from tuna2134/main

0e4482d

ふう

Update CI.yml

b9dc52d

Merge branch 'VOICEVOX:main' into patch-1

eb1baf8

Update CI.yml

0c5bf40

Merge branch 'VOICEVOX:main' into main

c02ec70

Update CI.yml

c4adad1

Update CI.yml

e09ed7a

Merge pull request #5 from tuna2134/main

f03081b

修正

Update pyproject.toml

8eb71d9

Update CI.yml

4d37b05

Update CI.yml

1b33050

Remove abi3

9e4bd97

Remove sdist

db0a738

Update Cargo.toml

d62c18e

manylinuxwo

889664d

tuna2134 and others added 6 commits November 28, 2023 15:51

pathcelf有効にしてみた

76f54d5

Merge pull request #6 from tuna2134/patchelf

66db699

Patchelf

Merge branch 'VOICEVOX:main' into patch-2

e3fd017

Merge pull request #7 from tuna2134/main

f483ab1

thin

Merge branch 'VOICEVOX:main' into patch-2

5475bdc

fix: linuxの時のみビルド

4d03757

tuna2134 changed the title ~~manylinuxでビルドできるように変更~~ gh actionsで追加およびmanylinuxでビルドできるように変更 Dec 28, 2023

Merge pull request #8 from tuna2134/patch-1

a3a342b

Patch 1

Hiroshiba reviewed Jan 7, 2024

View reviewed changes

qryxip mentioned this pull request Jan 8, 2024

onnxruntime-rsからortに乗り換える #718

Closed

3 tasks

qryxip mentioned this pull request May 22, 2024

onnxruntime-rsからortに乗り換える #725

Merged

Merge branch 'VOICEVOX:main' into patch-2

c6c7a51

sevenc-nanashi mentioned this pull request Jun 14, 2024

PyPIで公開する？ #653

Open

qryxip mentioned this pull request Jul 7, 2024

chore: tool.maturin.skip-auditwheel = false #806

Merged

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

gh actionsで追加およびmanylinuxでビルドできるように変更 #693

gh actionsで追加およびmanylinuxでビルドできるように変更 #693

tuna2134 commented Nov 25, 2023 •

edited

Loading

tuna2134 commented Nov 25, 2023

tuna2134 commented Nov 25, 2023

Hiroshiba commented Nov 25, 2023 •

edited

Loading

tuna2134 commented Nov 25, 2023

Hiroshiba commented Nov 25, 2023

tuna2134 commented Nov 25, 2023 •

edited

Loading

Hiroshiba commented Nov 25, 2023 •

edited

Loading

tuna2134 commented Nov 25, 2023 •

edited

Loading

Hiroshiba commented Nov 25, 2023

qryxip commented Nov 25, 2023

qryxip commented Nov 25, 2023 •

edited

Loading

Hiroshiba commented Nov 25, 2023 •

edited

Loading

qryxip commented Nov 25, 2023

qryxip commented Nov 25, 2023

tuna2134 commented Nov 25, 2023

tuna2134 commented Dec 27, 2023

Hiroshiba commented Dec 29, 2023 •

edited

Loading

tuna2134 commented Jan 1, 2024

Hiroshiba commented Jan 1, 2024 •

edited

Loading

Hiroshiba Jan 7, 2024 •

edited

Loading

tuna2134 Feb 17, 2024

Hiroshiba Feb 17, 2024

tuna2134 May 22, 2024 •

edited

Loading

Hiroshiba May 23, 2024

qryxip commented Jul 8, 2024

tuna2134 commented Jul 8, 2024

	- name: build voicevox_core_python_api
	if: matrix.whl_local_version
	id: build-voicevox-core-python-api
	run: \|
	rm -rf ./target/wheels
	pip install --upgrade poetry
	poetry config virtualenvs.create false
	(cd crates/voicevox_core_python_api && poetry install --with dev)
	function build() {
	maturin build --manifest-path ./crates/voicevox_core_python_api/Cargo.toml --features ${{ matrix.features }}, --target ${{ matrix.target }} --release
	}
	if ${{ !inputs.is_production }}; then
	build
	else
	build > /dev/null 2>&1
	fi
	echo "whl=$(find ./target/wheels -type f)" >> "$GITHUB_OUTPUT"
	env:
	ORT_USE_CUDA: ${{ matrix.use_cuda }}

gh actionsで追加およびmanylinuxでビルドできるように変更 #693

Are you sure you want to change the base?

gh actionsで追加およびmanylinuxでビルドできるように変更 #693

Conversation

tuna2134 commented Nov 25, 2023 • edited Loading

内容

関連 Issue

その他

tuna2134 commented Nov 25, 2023

tuna2134 commented Nov 25, 2023

Hiroshiba commented Nov 25, 2023 • edited Loading

tuna2134 commented Nov 25, 2023

Hiroshiba commented Nov 25, 2023

tuna2134 commented Nov 25, 2023 • edited Loading

Hiroshiba commented Nov 25, 2023 • edited Loading

tuna2134 commented Nov 25, 2023 • edited Loading

Hiroshiba commented Nov 25, 2023

qryxip commented Nov 25, 2023

qryxip commented Nov 25, 2023 • edited Loading

Hiroshiba commented Nov 25, 2023 • edited Loading

qryxip commented Nov 25, 2023

qryxip commented Nov 25, 2023

tuna2134 commented Nov 25, 2023

tuna2134 commented Dec 27, 2023

Hiroshiba commented Dec 29, 2023 • edited Loading

tuna2134 commented Jan 1, 2024

Hiroshiba commented Jan 1, 2024 • edited Loading

Hiroshiba Jan 7, 2024 • edited Loading

Choose a reason for hiding this comment

tuna2134 Feb 17, 2024

Choose a reason for hiding this comment

Hiroshiba Feb 17, 2024

Choose a reason for hiding this comment

tuna2134 May 22, 2024 • edited Loading

Choose a reason for hiding this comment

Hiroshiba May 23, 2024

Choose a reason for hiding this comment

qryxip commented Jul 8, 2024

tuna2134 commented Jul 8, 2024

tuna2134 commented Nov 25, 2023 •

edited

Loading

Hiroshiba commented Nov 25, 2023 •

edited

Loading

tuna2134 commented Nov 25, 2023 •

edited

Loading

Hiroshiba commented Nov 25, 2023 •

edited

Loading

tuna2134 commented Nov 25, 2023 •

edited

Loading

qryxip commented Nov 25, 2023 •

edited

Loading

Hiroshiba commented Nov 25, 2023 •

edited

Loading

Hiroshiba commented Dec 29, 2023 •

edited

Loading

Hiroshiba commented Jan 1, 2024 •

edited

Loading

Hiroshiba Jan 7, 2024 •

edited

Loading

tuna2134 May 22, 2024 •

edited

Loading