這是首次嘗試訓(xùn)練Lora模型，花了不少時(shí)間測(cè)試，以下是詳細(xì)的產(chǎn)圖流程。
如果對(duì)Lora模型訓(xùn)練不感興趣的人可以直接從第4步開始。
1. 素材蒐集
本次Lora模型素材主要取自官方資源，包含遊戲內(nèi)截圖、角色PV、官方立繪等。
主要取包含臉部表情、各動(dòng)作、角度、背景的圖片，並且沒有做額外去背等動(dòng)作。
蒐集完30張以上的圖片後，再使用A1111 Stable diffusion webui中Train>Preprocess images的功能。
設(shè)定長(zhǎng)寬皆為768、勾選Auto-sized crop與Use deepbooru for caption。
執(zhí)行完後初階段的素材蒐集就算完成了。
2. 素材手動(dòng)修正
前一步自動(dòng)整理完的素材還有許多問(wèn)題，諸如角色被切出畫面外、提示字錯(cuò)誤等等。
這邊我有額外對(duì)這類內(nèi)容做手動(dòng)調(diào)整，並在提示字最前面加上關(guān)鍵觸發(fā)lan_1_(tower_of_fantasy)以及角色重點(diǎn)如mask_on_head、kimono、long_sleeves、high_heels等等。
這一步算是模型訓(xùn)練裡最需要?jiǎng)诹Φ模謩?dòng)去檢查幾十張圖中是否有誤判的關(guān)鍵字。
3. 模型訓(xùn)練
準(zhǔn)備完成後，就可以使用Kohya's GUI開始模型訓(xùn)練。我實(shí)際上對(duì)相關(guān)參數(shù)功能和影響還很不熟悉，這裡主要都參考網(wǎng)路上其他人分享的設(shè)定。
我喜歡用Anythingv5V3_v5PrtRE做為Checkpoint。
我使用約50~60張圖、每張圖片重複10次、做10個(gè)epoch，讓總步數(shù)拉到約5000。
Learning rate: 7e-5，Text Encoder learning rate: 8e-6，Unet learning rate: 7e-5，Max resolution: 768,768。
都設(shè)定好之後就可以開始訓(xùn)練了，我用3070進(jìn)行訓(xùn)練時(shí)長(zhǎng)大約兩個(gè)小時(shí)。
4. 決定場(chǎng)景要素
有了模型之後，再來(lái)就正式開始AI創(chuàng)作的部分。
我習(xí)慣第一步是先決定場(chǎng)景上會(huì)出現(xiàn)的要素，再大量的去roll不同的構(gòu)圖，直到選定比較滿意的為止。
這次我希望能產(chǎn)出跟嵐一起坐在公園櫻花樹下的圖，相關(guān)參數(shù)如下。
<lora:lan_1_(tower_of_fantasy):0.6>(high quality:1.1), (hige resolution:1.1), (wariza:1.4) on grass, (clear light and shadow:1.1), lan 1 \(tower of fantasy\), 1girl, light smile, pink hair with (black streaks:0.8), green eyes, kimono, hair ornament, mask on head, (white socks:0.9), (high heels:0.8), under the (sakura:0.6) in the (park:1.2) Negative prompt: (low quality:1.3), (low resolution:1.3), (blurry:1.2), simple background, white background, umbrella, weapon, fire, flame, (long hair:1.2), (tower:1.2), large breasts, pantyhose, toe Steps: 20, Sampler: DPM++ 2M Karras, CFG scale: 7, Seed: 308660174, Size: 768x512, Model hash: 7f96a1a9ca, Model: Anythingv5V3_v5PrtRE |
5. 細(xì)節(jié)重繪
決定好了基本的場(chǎng)景要素和構(gòu)圖之後，會(huì)發(fā)現(xiàn)圖片上實(shí)際還有不少缺陷。
我這一步會(huì)透過(guò)inpaint局部重繪的功能去做修正，主要有幾種做法:
a. 如果指定區(qū)域問(wèn)題較大且非角色重點(diǎn)，可以給新種子再重roll數(shù)次，如櫻花樹形狀奇怪，那就對(duì)櫻花樹部分重roll
b. 如果指定區(qū)域細(xì)節(jié)不夠精緻或有邏輯錯(cuò)誤，可以直接參考原色做幅度較大的重繪，如手部缺陷
c. 如果指定區(qū)域有角色細(xì)節(jié)錯(cuò)誤，可以用其他繪圖工具粗略塗上，再設(shè)定參考原色做小幅度重繪，如嵐的衣服綴飾
重繪步驟可以一次小範(fàn)圍，多步的去精確執(zhí)行。執(zhí)行到相對(duì)滿意為止。
如果有特定特徵無(wú)法呈現(xiàn)，也可以調(diào)整提示字大量強(qiáng)調(diào)，由於只對(duì)局部重繪，不用擔(dān)心像txt2img一樣會(huì)影響整體品質(zhì)。
調(diào)整左側(cè)櫻花樹:
調(diào)整角色衣服綴飾:
6. 高解析度處理
最後為了提高成品精細(xì)度，我會(huì)再用Extras>Single Image>Scale功能把解析度拉高。
Upscaler主要使用RESRGAN 4x+ Anime6B去執(zhí)行，可以拉到4K或8k的解析度。
這樣就大功告成啦!
實(shí)際上成品瑕疵還是很多，原始模型對(duì)角色服飾細(xì)節(jié)的還原度非常有限，權(quán)重拉高又會(huì)導(dǎo)致畫面崩掉。
重繪又看起來(lái)有明顯手動(dòng)更改痕跡，如果降低重繪幅度，又會(huì)讓細(xì)節(jié)跑掉...。
只能再繼續(xù)研究是否有改進(jìn)方案了，如果有各位有不錯(cuò)的經(jīng)驗(yàn)請(qǐng)務(wù)必與我分享!
Lora模型已分享至CIVIT AI可供下載，如果想看"精彩的差分圖"和我的其他創(chuàng)作請(qǐng)至Pixiv。
達(dá)人
