ETH官方钱包

前往
大廳
主題

[AI繪圖訓練] 自繪原創角色 Lora 訓練過程分享(含不同checkpoints效果測試)

l1a2yyyy | 2023-06-25 02:04:44 | 巴幣 1110 | 人氣 2442

最近在試著把之前繪製的 live2D 角色訓練成 Lora,算是在做一些技術測試~ 同時,受到 neuro-sama 新皮的啟發,就決定來盤點一下手上現有的資源(皮+角色設定+chatGPT指令+找可用的聲源),之後看看有沒有大佬或公司會開源一套可行的AI-vtuber系統或平臺,到時候就可以把手頭上已經訓練好的資源套入.......畢竟,總感覺從現在才開始學程式有點來不及了(:з」∠)

現階段AI繪圖也好、Live2D也好,都偏向當個人休閒在玩,同時從這邊作為出發點來讓自己學習一些新技術~~ 不過,因為暫時沒打算走向營利,所以在採購設備或軟體上就比較卡.....明明買模型的時候就管不住手,但買軟體或設備時就意外精明,自己還真是矛盾的集合體(-`ω-)

Lora方面的訓練,我是看"杰克艾米立"的教學,其中考慮到不想讓插件已經一堆的SD更加冗,我的訓練軟體是選用"kohya_ss(安裝連結:https://github.com/bmaltais/kohya_ss)";其中,訓練相關的設定內容都跟杰克艾米立影片相同,唯一不同的地方在於安裝部分原作者在今年6月有做了介面,安裝時直接通過介面去選擇想要的安裝方式,系統就會"自動安裝(沒有進度條!!!!!!)".......
..........唉,當初我安裝時就是沒有注意到原作者改介面,還去看之前其他人寫的安裝教學,然後花了三個小時處理各種錯誤......後來才發現只要我放著不管,30分鐘就安裝好  只能說─不要相信自己,要相信那個相信我們會"等待"的作者呀!!!!!

安裝完後,是可以直接從 setup中開啟kohya_ss的網頁介面(4),系統跑完後會自動開啟介面(這可比SD輕鬆呀)

安裝完後,後面相關的參數設定+訓練資料準備(512*512)+打tag都可以參考"杰克艾米立"的影片或是 b站"也賀YeHeAI"的影片,文章後面主要展示我目前的訓練結果與跑SD的側視圖

一開始我是先測試 LyCORIS 的 LoCon與LoHa,訓練庫我是用25張去跑(沒有打tag);素材部分因為有 這個角色模型有live 2D,所以我是用 live2D (Vtube studio)去拍表情(23)跟全身照(2),訓練庫如下.....不得不說,用 live2d來生訓練素材真的快XD 就是比較廢臉部肌肉

Locon的部分我跑25*40重複*3 Epoch(3,000步),而LoHa則是25*100重複*5Epoch (12,500步),兩者都是每1 Epoch 紀錄一次模型與做,取樣與SD(model.cpkt)跑出來的結果如下:

LoCon:

LoHa:

恩~以角色細節的還原度來說,LoCon還原得更好,頭髮的細節跟分色都有做出來,但訓練過度容易影響到背景,感覺千步左右就有不錯的效果;相反的,LoHa對於角色的理解不太行,就算訓練到萬步還是無法還原角色細節,但LoHa背景的干擾相對較少~ 或許,之後可以融合上面兩種 Lora,來達到高角色還原+不影響背景之效果( ^?^)

在上面的基礎上,後續也針對LoCon的訓練條件做了不同的測試,包含用SD生成tag+手動調整.....不過呀─SD你給我繪製的角色打上1 boy的tag不能忍,至少也要是tomboy吧(`皿′)   Σ(?д?lll):欸,你在意的是這個喔????

不過呀,我發現打了 tag後的幾次訓練結果都沒有一開始的好,這有點進入玄學的領域了....後續有簡化了tag+調低訓練步數,但效果都很一般(prompt都跟前面一樣)

LoCon_tag_3000步: 背景一個被Lora吃掉

LoCon_tag_600步_10 Epoch:
頭髮的分色一個飄+服裝的顏色全都不對呀........(? ???)

真的搞不懂AI是如何根據tag學習的?ω?   另外,感覺10 Epoch 間對角色的還原度並沒有顯著改善(這個意思是tag加速了學習?).....但,背景的細節倒是越來越簡單了

總之,Lora的訓練過程各種不確定(素材品質+tag用詞+kohya_ss可以調的參數太多),但系統又不像SD可以生成XYZ去對比,整個過程基本上就是不斷的等待跟試錯,其實滿折磨人的~~ 不如SD跑圖有趣就是ΘωΘ

其次,kohya_ss採樣生成的示意圖效果滿差,除非是很嚴重的問題(比如我下面第一次跑的結果)
不然基本上生出來的Lora都還是要丟去SD測試效果,才能知道到底能不能用......特別,採樣生成的圖越接近提供的素材圖,反而越難用,變成只能生成跟素材圖類似的圖......那我直接用 live2D去拍就好啦 原圖我自己畫的耶XDDDDD

最後,再來些風格繪吧~ 跟之前一樣是用不同的 checkpoint 跑出來的效果,其中有些 checkpoint跟我最開始訓練的 LoCon 風格很搭耶,甚至比用母模型(model.cpkt)跑出來的效果更好

(; ?`д?′):這是什麼巫術呀.....

9527

colorbox

Ghostmix

mixProV3

mixProV4(背景穩定度V4要好一些)

Model(NovelAI)

Awpainting(目前感覺跟我 Lora 契合度最高的checkpoint)

manmaruMix(天呀~這個也太可愛了吧!! 好像用這個形象再來做個 live2D喔)

pastelMix (效果炸裂,但跑圖成功率不高呀)

Seekyou_mikan(人物更寫實風,但背景生成有點不太行)

Seekyou_momo(人物更可愛風,且momo的背景比較乾淨_我傾向momo)

ToonyouJP (參數還需要調整,根據作者建議使用起來沒有manmaruMix來的穩定)

WontonColorbox(人物跟光影有很不錯的效果,但部分線條與畫面有點亂)

Cocotifamix(雖然很可愛,但不太搭XDDD 有點太老成的感覺 )

總之,又是大滿足的一天,有些沒放上來的跑圖結果一樣也會放在我的P站(https://www.pixiv.net/artworks/109319056)..... 然後,跑完 ai繪圖再過頭來看我自己的電繪原圖......腦中只有這個想法

送禮物贊助創作者 !
0
留言

創作回應

這有辦法做Q版2頭身嗎
2024-02-19 00:24:24
l1a2yyyy
這部分直接找現成的 Lora 會比較快,可以上https://civitai.com 找找看,我覺得會有但關鍵字我可能要試試看

主要二頭身Q版的要求比較偏向是畫圖風格類型,要練會比較麻煩,要找不同繪圖風格的二頭身Q版素材給ai訓練,除非你已經有素材庫(比如我這篇示範的自創角色圖組),不然找素材跟處理素材這塊對後續 Lora的應用範圍影響很大(素材風格太接近可能會讓訓練出來的Lora風格太接近,泛用性不高)
2024-02-19 02:08:38
l1a2yyyy
這個 Lora 你可以試試看,可以做二頭身,不過記得 width height 要設定小一些(至少小於400*400)

https://civitai.com/models/217449/cute-and-chibi-art-style-nozohitomiz
2024-02-19 03:27:01
l1a2yyyy
https://truth.bahamut.com.tw/s01/202402/3fb83b3c7d2b95c64a728a411e41366b.JPG
2024-02-19 03:27:19
l1a2yyyy
最近我整理些資料,下周末可以再寫個教學吧
2024-02-19 03:28:36
雪玉コロコロ
感謝分享~
2024-02-19 15:38:33
感謝分享~
2024-02-19 16:03:33
l1a2yyyy
上周提到的教學文,我已經更新在這篇文章了(http://www.jamesdambrosio.com/artwork.php?sn=5888929)
2024-02-26 00:10:44
我是臺灣人
請教一下,我在玩某遊戲,每名人物的圖像只有
立繪*1
站姿*1
跑姿*1
請問這樣有辦法訓練成lora嗎(′°????????ω°????????`)
2024-08-05 15:15:42
l1a2yyyy
訓練的圖庫太少+圖的相似度太高,Lora 訓練的品質會不好,先用 AI 圖生圖+prompt調整把圖庫拉大,再去訓練看看吧
2024-08-06 18:57:07
我是臺灣人
好的謝謝
2024-08-06 21:06:36

更多創作