我們在使用ChatGPT時,會有所經驗。
我們設定了某些事物後,ChatGPT似乎會學習到什麼。
例如這個,我設定了星爆氣流斬這件技能。
然後再向GPT詢問一些基本問題
看起來GPT確實學習到了什麼,對吧?
但實際上模型並沒有從你單次的使用學習到什麼,也不會根據你的輸入調整網路中的參數。
ChatGPT實際上的任務目標是接龍。
現在舉一個例子
使用者輸入
你好,我是
它可能會接龍出
潘志遠,我幸賴普拿疼。
接下來使用者輸入
我是誰?
它可能就會接龍出
我是潘志遠,我幸賴普拿疼。
在使用這體驗層面上,我們可能以為我們是一句一句去對AI進行問答的
但實際上我們是把上文全部輸入AI,並讓AI進行接龍
以這邊的例子,第二個問題的實際的輸入是「你好,我是潘志遠,我幸賴普拿疼。我是誰?」
簡單來說,你問了問題A後
模型會根據A,接龍出B
你又問了C
實際上模型是用ABC 這個文章去預測出新的結果D
以此類推。
也因為AI的輸入是所有的前文,所以預測出來的接龍就會包含前文所內涵的資訊這樣。
到這邊理解的人大概也想到為什麼AI會"遺忘"了
因為我們一次能輸入ChatGPT這個模型的字數有上限,超過了之後前面的字就會被擠掉
當某個背景設定被新的輸入完全擠出輸入文章後,自然ChatGPT就不會使用他們進行預測了。
當然 ChatGPT可能實際上使用的技術跟這邊說得不會完全一樣,不過大致可以這樣了解。