主題
- Life-long learning: 使 model 能夠依序?qū)W會(huì)多種任務(wù)，不會(huì)學(xué)了新的就忘了舊的任務(wù)
- Transfer Learning: 訓(xùn)練好一個(gè) model (pre-train model 預(yù)訓(xùn)練模型)，透過 Fine-tune(微調(diào))可以快速學(xué)會(huì)新的任務(wù)。例如: Language model(語言模型)已訓(xùn)練好一系列詞語的embedding (word2vector)，假設(shè)有一個(gè) Facebook留言爬蟲訓(xùn)練而成的 Language model，我們可以拿Youtube留言的語料庫(corpus: 將詞轉(zhuǎn)乘數(shù)值向量的字典結(jié)構(gòu))對model做微調(diào)，使model的詞彙量增加，學(xué)會(huì)對Youtube的留言做embedding。
而Transfer Learning只在乎新的任務(wù)是否能做得好，所以把微調(diào)後的model回去做任務(wù)一，理論上任務(wù)一的正確率就會(huì)爛掉了。
- Muti-task learning: 目前的多任務(wù)學(xué)習(xí)尚停留在比較簡單的問題，例如處理類似的圖片辨識(shí)問題，只是任務(wù)一是正常手寫數(shù)字圖片辨識(shí)，而任務(wù)二是相同圖片集但增加雜訊(躁點(diǎn))的圖片辨識(shí)。希望 model 能將兩種資料集的圖片都能辨識(shí)正確。Muti-task learning最值觀的做法就是資料增量，把這兩種資料集打散，全部、同時(shí)丟給機(jī)器去學(xué)，這樣就能學(xué)會(huì)多任務(wù)辨識(shí)了。但缺點(diǎn)是資料集太龐大，空間複雜度高、訓(xùn)練時(shí)間長。
- 評估法: 類似混亂矩陣，未來評估m(xù)odel可以嘗試
