0:00 - 0:22 Unity展示
0:22 現實運作
基本上只是為了測試能否真的將ML-Agents 訓練的模型拿到現實中用,才在家裡把這些做出來。結果看起來還行,不過還有很多地方可以改進。
模型是在Unity裡的模擬環境透過強化學習訓練的。訓練完成後透過Python載入ONNX模型。程式使用OpenCV來定位相機畫面中的ArUco標記,並將資料轉換為在Unity訓練時使用的形式。
整個做下來最大的問題反而是硬體,主要是那輛實際測試用的小車,馬達經常停止轉動,而且電池在測試幾輪之後就已經快不行了。再加上兩側的馬達轉動速度不同,而且基本上只有最大輸出才能讓馬達動起來。推測應該只是供電問題,不過我手邊只有這些工具。所以最後是透過將相機角度往右轉一點,來補償這個問題。
之後如果剛好有更好的硬體,我可能會再測試看看。
如果對這部影片的內容有興趣,想要教學的話,歡迎留言讓我知道。我沒辦法保證一定會做出來,因為那可能會變成1小時長的影片,不過我有時間的話會試試看。