更新日期:2024/04/08
來自亞馬遜、德州農工大學、萊斯大學的學者們所研究及調查。
Paper:
Paper:
Github(作者已有一段時間尚未更新):
Twitter:
LLM演化樹(因作者已有一段時間尚未更新,許多模型尚未新增上去,例如Gemini、Claude 3等):
- 非灰色:基於Transformer模型
- 粉紅色分支:純encoder(編碼器)的模型
- 綠色分支:encoder-decoder(編-解碼器)的模型
- 藍色分支:純decoder(解碼器)的模型
- 實心:Open source,表示開源的模型,例如LLaMA(被迫)
- 空心:Closed source,表示閉源的模型,例如ChatGPT
- 右下的堆疊長條圖:不同公司與機構的模型數量
決策流程圖:幫助使用者評估下游NLP任務該選擇LLMs還是微調模型(Fine-tuned models)
- Y:符合條件
- N:不符合條件
- Y旁邊有黃色圓圈:表示目前尚未有合適的模型