RinneVoiceSet / Sing.md
Rinne
mp3 error
6b56c79
|
raw
history blame
3.48 kB

# Rinne を歌わせたい
[Retrieval-based-Voice-Conversion-WebUI](https://github.com/liujing04/Retrieval-based-Voice-Conversion-WebUI) で、すでにある曲を Rinne に歌わせます。
# つかいかた
1. 女性のボーカル付きの曲を mp3 形式や wav 形式で用意します。
2. `Sing.bat` をダブルクリックして、[Retrieval-based-Voice-Conversion-WebUI](https://github.com/liujing04/Retrieval-based-Voice-Conversion-WebUI) を立ち上げます。
- Windowsファイアウォールで通信を許可しなくとも利用できるようです。
3. ブラウザに WebUI が表示されたら画面上部の、「伴奏とボーカルの分離」で、曲を伴奏とボーカルに分離します。
![Sing0](./Sing0.png)
- 左下の「ここにファイルをドロップ -または- クリックしてアップロード」から mp3 形式や wav 形式の曲を登録できますが、**すぐ上の「フォルダパスを入力」を空欄にする必要があります**
- mp3 ファイルによってはエラーになる場合があります。エラーになる場合は [fre:ac](https://www.freac.org/) などのお好みのツールで、あらかじめ wav 形式に変換してください。
- モデルを「HP5-~」にして「変換」すると `RVC-beta\opt\` 以下に伴奏とボーカルの wav が出力されます。
- 曲によって相性があるようなので、「HP2-~」でも「変換」してどちらが伴奏とボーカルをキレイに分離できているかを比較します。
4. ボーカルが分離できたら上部の「モデル推論」で、ボーカルを Rinne の声に変換します。
![Sing1](./Sing1.png)
- 「音源推論」を「Rinne.pth」にします。
- 「処理対象音声ファイルのパス」にボーカルのwevのパスにします(フルパス可)。
- 「ピッチ抽出アルゴリズム」を「harvest」にします。
- 「特徴量検索データベースのファイルパス」を「..\Rinne.index」にします(フルパス可)。
- 「特徴量ファイルのパス」を「..\Rinne.py」にします(フルパス可)。
5. 「変換」が成功したら、「出力音声」の「…」から変換したボーカルの wav をダウンロードします。
6. 変換したボーカルの wav と、分離した伴奏の wav を、[Audacity](https://www.audacityteam.org/) などのツールで結合します。
- 例)[Audacity](https://www.audacityteam.org/) でボーカルと伴奏を開き、「ファイル」-「書き出し」-「MP3として書き出す」
![](./Sing2.png)
# 品質の向上
- 曲を伴奏とボーカルに分離する手段はたくさんあり、よりキレイに分離できる手法がありそうです。
- 例)「[UVR5で高精度なBGM除去を行う方法](https://ddpn08.fanbox.cc/posts/5738173)」
- 曲や声の組み合わせによって、最適なパラメータは異なるようです。
- 「ピッチ変更」を上げ下げしてみる
- 「ピッチ抽出アルゴリズム」を「harvest」でなく「pm」にしてみる
- 「检索特征占比(特徴量の検索割合?)」を上げ下げしてみる
- [Audacity](https://www.audacityteam.org/) などのサウンドツールでも、品質を向上できます。
- ボーカルと伴奏のバランス調整やノイズの除去など
[戻る](./README.md)