主題

[AI繪圖訓練] 自繪原創角色 Lora 訓練過程分享(含不同checkpoints效果測試)

l1a2yyyy | 2023-06-25 02:04:44 | 巴幣 1110 | 人氣 2442

最近在試著把之前繪製的 live2D 角色訓練成 Lora，算是在做一些技術測試~ 同時，受到 neuro-sama 新皮的啟發，就決定來盤點一下手上現有的資源(皮+角色設定+chatGPT指令+找可用的聲源)，之後看看有沒有大佬或公司會開源一套可行的AI-vtuber系統或平臺，到時候就可以把手頭上已經訓練好的資源套入.......畢竟，總感覺從現在才開始學程式有點來不及了(:з」∠)

現階段AI繪圖也好、Live2D也好，都偏向當個人休閒在玩，同時從這邊作為出發點來讓自己學習一些新技術~~ 不過，因為暫時沒打算走向營利，所以在採購設備或軟體上就比較卡

.....明明買模型的時候就管不住手，但買軟體或設備時就意外精明，自己還真是矛盾的集合體(。-`ω′-)

Lora方面的訓練，我是看"杰克艾米立"的教學，其中考慮到不想讓插件已經一堆的SD更加冗，我的訓練軟體是選用"kohya_ss(安裝連結:https://github.com/bmaltais/kohya_ss)"；其中，訓練相關的設定內容都跟杰克艾米立影片相同，唯一不同的地方在於安裝部分原作者在今年6月有做了介面，安裝時直接通過介面去選擇想要的安裝方式，系統就會"自動安裝(沒有進度條!!!!!!)".......

..........唉，當初我安裝時就是沒有注意到原作者改介面，還去看之前其他人寫的安裝教學，然後花了三個小時處理各種錯誤......後來才發現只要我放著不管，30分鐘就安裝好

只能說─不要相信自己，要相信那個相信我們會"等待"的作者呀!!!!!

安裝完後，是可以直接從 setup中開啟kohya_ss的網頁介面(4)，系統跑完後會自動開啟介面(這可比SD輕鬆呀)

安裝完後，後面相關的參數設定+訓練資料準備(512*512)+打tag都可以參考"杰克艾米立"的影片或是 b站"也賀YeHeAI"的影片，文章後面主要展示我目前的訓練結果與跑SD的側視圖

一開始我是先測試 LyCORIS 的 LoCon與LoHa，訓練庫我是用25張去跑(沒有打tag)；素材部分因為有這個角色模型有live 2D，所以我是用 live2D (Vtube studio)去拍表情(23)跟全身照(2)，訓練庫如下.....不得不說，用 live2d來生訓練素材真的快XD 就是比較廢臉部肌肉

Locon的部分我跑25*40重複*3 Epoch(3,000步)，而LoHa則是25*100重複*5Epoch (12,500步)，兩者都是每1 Epoch 紀錄一次模型與做，取樣與SD(model.cpkt)跑出來的結果如下:

LoCon:

LoHa:

恩~以角色細節的還原度來說，LoCon還原得更好，頭髮的細節跟分色都有做出來，但訓練過度容易影響到背景，感覺千步左右就有不錯的效果；相反的，LoHa對於角色的理解不太行，就算訓練到萬步還是無法還原角色細節，但LoHa背景的干擾相對較少~ 或許，之後可以融合上面兩種 Lora，來達到高角色還原+不影響背景之效果( ^?^)

在上面的基礎上，後續也針對LoCon的訓練條件做了不同的測試，包含用SD生成tag+手動調整.....不過呀─SD你給我繪製的角色打上1 boy的tag不能忍，至少也要是tomboy吧(`皿′) Σ（?д?lll）:欸，你在意的是這個喔????