如何訓練 AI 翻唱模型?

AI 翻唱模型訓練前需要先準備聲音素材，步驟與上一篇文章 AI 翻唱教學 類似，不過上一篇介紹如何使用別人已訓練好的模型製作 AI 翻唱，這一篇文章會介紹 3 個 AI 翻唱軟體進行模型訓練。

什麼是 So-vits-svc (Sovits)?

So-vits-svc（又稱 Sovits）是基於 VITS、soft-vc、VISinger2 等開發的免費 AI 語音轉換模型。使用者只需準備語音或歌聲數據，So-vits-svc 模型就能學習及掌握所輸入的人聲的音色和發音特點等，訓練出使用者想要的音色。最近不少 AI 翻唱作品就是基於這個 so-vits-svc 開源項目。

So-vits-svc Github: https://github.com/svc-develop-team/so-vits-svc  

▋ 熱門文章: 【Suno AI + AI 翻唱教學】做出更好聽音樂，秒變音樂家 🎵

AI 翻唱模型 Sovits 4.0 Google Colab 教程

準備工作

▋ 步驟一: 準備聲音樣本

AI 翻唱模型訓練前需要先準備約 1-2 小時聲音素材，可選擇自己喜歡的歌曲或錄音等。不過找的樣本盡量要音質清晰、少雜音。

▋ 步驟二: 提取人聲 (分離人聲和背景音樂）

將背景音樂與人聲分離，因為背景音樂會影響模型的推理效果。

1. 到 Ultimate Vocal Remover (UVR5) Github，根據自己的電腦 (Window / Mac) 安裝 UVR5，暫時最新版本是 V5.5.1。

2. 下載連結後，點擊 UVR_v5.5.1_setup.exe 進行安裝。完成安裝後會見到以下界面。

3. 在 UVR5 進行人聲分離，在 Select Input 選擇需要分離人聲和伴奏的歌曲，處理完成後可以在 Output 的文件夾找到處理完成後的人聲及伴奏檔案。

4. 如果不懂如何設定參數，可參考以下的參數設定。如有需要，亦可以收看我的視頻教學: https://youtu.be/8FVvHXk9O7o。

* 如果電腦支持 GPU，可勾選 GPU Conversion，運算時間會快些。

5. 如果人聲效果不夠好，可以參考以下設定，進行第二次處理。

6. 其實 Ultimate Vocal Remover (UVR5) 提供不少方式處理人聲分離。除了以上我介紹的方式，大家亦可試用不同方式測試人聲分離效果。

7. UVR5 處理完成後到之前設定的 Output 文件夾找到人聲檔案，然後進行下一個步驟 - 分割人聲。

▋ 步驟三: 分割人聲

1. 到 Audio Slicer Github 下載 Slicer-gui，暫時最新版本是 v1.2.1。

2. 將 UVR5 處理好的人聲檔案進行分割，大概 10-20 秒一段。首先，點撃 "Add Audio Files" 上傳人聲素材，然後 在 Output Directory 位置設置輸出文件夾位置。最後，點撃 "Start" 開始分割人聲檔案。

3. 第一次分割，可能會有一些檔案超過 20秒。如果發現檔案比較大，可以將 File Size 比較大的人聲檔案再上傳到 slicer-gui 再次分割，參數可參考以下的設置。

相關文章: AI 翻唱 (AI Cover) - 模型使用教學【連結】

訓練模型

將 slicer-gui 分割好的檔案壓縮 (Zip)，然後打開 Sovits 4.0 Google Colab。

▋ 步驟一:  

到 Google Drive 新增資料夾，資料夾名稱改為 "dataset"。

以我為例，我將 slicer-gui 分割好的檔案壓縮名稱改為 gorgor.zip ，然後拖進 "dataset" 資料夾。

在 DATASETNAME 位置輸入之前上傳到 Dataset 文件夾的名稱。因為我之前改的名稱是 gorgor，所以我輸入 gorgor，如下圖。

在 Model saving 下勾選 "Save_to_drive"

▋ 步驟二:  

在 44K 文件夾下載 config.json, D 開頭的 pth 檔案及 G 開頭的 pth 檔案。D 和 G 開頭 pth 檔案選擇數字最大的。

▋ 步驟三:  

將 config.json, D 開頭的 pth 檔案及 G 開頭的 pth 壓縮檔上傳到 Mega 網站。然後，點撃右上方的 "上傳"上傳壓縮檔。

點撃檔案右下方的三點，然後點撃 "取得連結"。

複製連結。至於複製好的連結如何製作 AI 翻唱，可以看我上一篇文章AI 翻唱教學或 AI 翻唱視頻教學:  https://youtu.be/79x-1JVbiKQ。

▋ 為您推薦:  5 個 AI 漫畫生成工具，自動生成漫畫或動漫

AI 翻唱相關視頻:

▋【AI 翻唱教學】模型訓練教程

▋【AI 翻唱教程 - AI Cover】如何製作 AI 翻唱 | 操作流程 + 教學

▋【AI 翻唱教學 - Part 3】如何延續模型訓練 + Q&A

▋【Suno AI + AI 翻唱教學】做出更好聽音樂，秒變音樂家 🎵

▋【AI 生成音樂教學】小白也能創作音樂？看這三個免費 AI 作曲工具

熱門文章:  

👉【如何使用 Suno AI (歌曲生成技巧篇)】

👉 5 個 AI 漫畫生成工具，自動生成漫畫或動漫

👉 推薦 5 個免費好用的文字轉語音 (TTS) AI 工具

👉 4 個免費好用的 AI PPT 生成工具

👉 推薦 5 個免費好用的 AI Logo 設計生成器

==========================

訂閱 👉 Pulse AI 電子報

✅ 快速掌握最新 AI 工具、科技資訊及品牌應用!

✅ 免費訂閱，節省資料搜集時間!

✅ 加快學習如何運用 AI，減低被淘汰機會!

✅ 每周幾分鐘，工作、學習更高效!

==========================