（圖片來(lái)源：Google Gemini Pro v1.0）
從加拿大航班飛機(jī)的ChatBot事件來(lái)看，顯示出LLMs + RAG技術(shù)在實(shí)際應(yīng)用中的限制。
Jake Moffett於2022年的Remembrance Day因祖母過(guò)世，急欲訂購(gòu)前往多倫多的班機(jī)。他使用加拿大航空（Air Canada）的網(wǎng)站並透過(guò)聊天機(jī)器人詢問(wèn)有關(guān)喪親票價(jià)的資訊，得知若在90天內(nèi)提出申請(qǐng)可能獲得退款。
然而，儘管Jake Moffett按照聊天機(jī)器人的建議訂購(gòu)了約1600美元的機(jī)票，當(dāng)他致電加航要求退款時(shí)，卻被告知政策不適用於追溯申請(qǐng)。這明顯反映了LLMs + RGA技術(shù)在提供連貫且符合實(shí)際情境之建議上的困難。
Jake Moffett因認(rèn)為聊天機(jī)器人誤導(dǎo)他而在卑詩(shī)省小額訴訟法庭起訴加航。加航主張不應(yīng)對(duì)聊天機(jī)器人的誤導(dǎo)負(fù)責(zé)，但仲裁委員不同意。委員表示加航應(yīng)對(duì)其網(wǎng)站上承諾的內(nèi)容負(fù)責(zé)，人們不應(yīng)該需要在整個(gè)網(wǎng)站上確保不同部分的準(zhǔn)確性。
最終，法庭判決賠償Jake Moffett 800美元，以彌補(bǔ)他實(shí)際支付與喪親票價(jià)相比的差額。這一案例凸顯了ChatGPT模型在實(shí)際應(yīng)用中可能導(dǎo)致的問(wèn)題，特別是當(dāng)用戶依賴聊天機(jī)器人提供的訊息時(shí)。
結(jié)論：
這個(gè)案例突顯了ChatGPT模型在實(shí)際應(yīng)用中可能引發(fā)的問(wèn)題，特別是當(dāng)使用者在重要決策中依賴聊天機(jī)器人提供的信息時(shí)。LLMs + RGA技術(shù)的限制，尤其是在多步推理和決策方面，可能導(dǎo)致模型的誤導(dǎo)性建議，進(jìn)而影響用戶的判斷。因此，我們需要更深入地思考和改進(jìn)模型的設(shè)計(jì)，以確保其在面對(duì)複雜決策和多步推理的情境中保持可靠性。同時(shí)，未來(lái)的發(fā)展應(yīng)更注重在真實(shí)世界應(yīng)用中提高準(zhǔn)確性和可信度。
延伸閱讀：
