Skip to content

Latest commit

 

History

History
231 lines (158 loc) · 9.96 KB

README.md

File metadata and controls

231 lines (158 loc) · 9.96 KB
Raw

GPT-SoVITS-WebUI

소량의 데이터로 음성 변환 및 음성 합성을 지원하는 강력한 WebUI.

madewithlove


Open In Colab Licence Huggingface

English | 中文简体 | 日本語 | 한국어

기능:

  1. 제로샷 텍스트 음성 변환 (TTS): 5초의 음성 샘플을 입력하면 즉시 텍스트를 음성으로 변환할 수 있습니다.

  2. 소량의 데이터 TTS: 1분의 훈련 데이터만으로 모델을 미세 조정하여 음성 유사도와 실제감을 향상시킬 수 있습니다.

  3. 다국어 지원: 훈련 데이터셋과 다른 언어의 추론을 지원하며, 현재 영어, 일본어, 중국어를 지원합니다.

  4. WebUI 도구: 음성 반주 분리, 자동 훈련 데이터셋 분할, 중국어 자동 음성 인식(ASR) 및 텍스트 주석 등의 도구를 통합하여 초보자가 훈련 데이터셋과 GPT/SoVITS 모델을 생성하는 데 도움을 줍니다.

데모 비디오를 확인하세요! demo video

보지 못한 발화자의 퓨샷(few-shot) 파인튜닝 데모:

few.shot.fine.tuning.demo.mp4

설치

테스트 통과 환경

  • Python 3.9, PyTorch 2.0.1 및 CUDA 11
  • Python 3.10.13, PyTorch 2.1.2 및 CUDA 12.3
  • Python 3.9, Pytorch 2.3.0.dev20240122 및 macOS 14.3 (Apple Slilicon)

참고: numba==0.56.4 는 python<3.11 을 필요로 합니다.

Windows

Windows 사용자이며 (win>=10에서 테스트 완료) 미리 패키지된 배포판을 직접 다운로드하여 _go-webui.bat_을 더블클릭하면 GPT-SoVITS-WebUI를 시작할 수 있습니다.

Linux

conda create -n GPTSoVits python=3.9
conda activate GPTSoVits
bash install.sh

macOS

주의: Mac에서 GPU로 훈련된 모델은 다른 OS에서 훈련된 모델에 비해 품질이 낮습니다. 해당 문제를 해결하기 전까지 MacOS에선 CPU를 사용하여 훈련을 진행합니다.

먼저 brew install ffmpeg 또는 conda install ffmpeg를 실행하여 FFmpeg가 설치되었는지 확인한 다음, 다음 명령어를 사용하여 설치하세요:

conda create -n GPTSoVits python=3.9
conda activate GPTSoVits

pip install -r requirements.txt

수동 설치

의존성 설치

pip install -r requirements.txt

FFmpeg 설치

Conda 사용자
conda install ffmpeg
Ubuntu/Debian 사용자
sudo apt install ffmpeg
sudo apt install libsox-dev
conda install -c conda-forge 'ffmpeg<7'
Windows 사용자

ffmpeg.exe와 ffprobe.exe를 GPT-SoVITS root 디렉토리에 넣습니다.

Docker에서 사용

docker-compose.yaml 설정

  1. 이미지 태그: 코드 저장소가 빠르게 업데이트되고 패키지가 느리게 빌드되고 테스트되므로, 현재 빌드된 최신 도커 이미지를 Docker Hub에서 확인하고 필요에 따라 Dockerfile을 사용하여 로컬에서 빌드할 수 있습니다.

  2. 환경 변수:

  • is_half: 반정밀/배정밀 제어. "SSL 추출" 단계에서 4-cnhubert/5-wav32k 디렉토리의 내용을 올바르게 생성할 수 없는 경우, 일반적으로 이것 때문입니다. 실제 상황에 따라 True 또는 False로 조정할 수 있습니다.

  1. 볼륨 설정, 컨테이너 내의 애플리케이션 루트 디렉토리를 /workspace로 설정합니다. 기본 docker-compose.yaml에는 실제 예제가 나열되어 있으므로 업로드/다운로드를 쉽게 할 수 있습니다.

  2. shm_size: Windows의 Docker Desktop의 기본 사용 가능한 메모리가 너무 작아 오류가 발생할 수 있으므로 실제 상황에 따라 조정합니다.

  3. deploy 섹션의 gpu 관련 내용은 시스템 및 실제 상황에 따라 조정합니다.

docker compose로 실행

docker compose -f "docker-compose.yaml" up -d

docker 명령으로 실행

위와 동일하게 실제 상황에 맞게 매개변수를 수정한 다음 다음 명령을 실행합니다:

docker run --rm -it --gpus=all --env=is_half=False --volume=G:\GPT-SoVITS-DockerTest\output:/workspace/output --volume=G:\GPT-SoVITS-DockerTest\logs:/workspace/logs --volume=G:\GPT-SoVITS-DockerTest\SoVITS_weights:/workspace/SoVITS_weights --workdir=/workspace -p 9880:9880 -p 9871:9871 -p 9872:9872 -p 9873:9873 -p 9874:9874 --shm-size="16G" -d breakstring/gpt-sovits:xxxxx

사전 훈련된 모델

GPT-SoVITS Models에서 사전 훈련된 모델을 다운로드하고 GPT_SoVITS\pretrained_models에 넣습니다.

중국어 자동 음성 인식(ASR), 음성 반주 분리 및 음성 제거를 위해 Damo ASR Model, Damo VAD Model 및 Damo Punc Model을 다운로드하고 tools/asr/models에 넣습니다.

UVR5(음성/반주 분리 및 잔향 제거)를 위해 UVR5 Weights에서 모델을 다운로드하고 tools/uvr5/uvr5_weights에 넣습니다.

데이터셋 형식

텍스트 음성 합성(TTS) 주석 .list 파일 형식:

vocal_path|speaker_name|language|text

언어 사전:

  • 'zh': 중국어
  • 'ja': 일본어
  • 'en': 영어

예시:

D:\GPT-SoVITS\xxx/xxx.wav|xxx|en|I like playing Genshin.

할 일 목록

  • 최우선순위:

    • 일본어 및 영어 지역화.
    • 사용자 가이드.
    • 일본어 및 영어 데이터셋 미세 조정 훈련.

  • 기능:

    • 제로샷 음성 변환 (5초) / 소량의 음성 변환 (1분).
    • TTS 속도 제어.
    • 향상된 TTS 감정 제어.
    • SoVITS 토큰 입력을 단어 확률 분포로 변경해 보세요.
    • 영어 및 일본어 텍스트 프론트 엔드 개선.
    • 작은 크기와 큰 크기의 TTS 모델 개발.
    • Colab 스크립트.
    • 훈련 데이터셋 확장 (2k 시간에서 10k 시간).
    • 더 나은 sovits 기본 모델 (향상된 오디오 품질).
    • 모델 블렌딩.

(선택 사항) 필요한 경우 여기에서 명령줄 작업 모드를 제공합니다.

명령줄을 사용하여 UVR5용 WebUI 열기

python tools/uvr5/webui.py "<infer_device>" <is_half> <webui_port_uvr5>

브라우저를 열 수 없는 경우 UVR 처리를 위해 아래 형식을 따르십시오. 이는 오디오 처리를 위해 mdxnet을 사용하는 것입니다.

python mdxnet.py --model --input_root --output_vocal --output_ins --agg_level --format --device --is_half_precision

명령줄을 사용하여 데이터세트의 오디오 분할을 수행하는 방법은 다음과 같습니다.

python audio_slicer.py \
    --input_path "<path_to_original_audio_file_or_directory>" \
    --output_root "<directory_where_subdivided_audio_clips_will_be_saved>" \
    --threshold <volume_threshold> \
    --min_length <minimum_duration_of_each_subclip> \
    --min_interval <shortest_time_gap_between_adjacent_subclips> 
    --hop_size <step_size_for_computing_volume_curve>

명령줄을 사용하여 데이터 세트 ASR 처리를 수행하는 방법입니다(중국어만 해당).

python tools/asr/funasr_asr.py -i <input> -o <output>

ASR 처리는 Faster_Whisper(중국어를 제외한 ASR 마킹)를 통해 수행됩니다.

(진행률 표시줄 없음, GPU 성능으로 인해 시간 지연이 발생할 수 있음)

python ./tools/asr/fasterwhisper_asr.py -i <input> -o <output> -l <language>

사용자 정의 목록 저장 경로가 활성화되었습니다.

감사의 말

특별히 다음 프로젝트와 기여자에게 감사드립니다:

모든 기여자들에게 감사드립니다 ;)