參賽團隊名稱:隨時隨地
提案動機:
移動型機器人最常見且重要的任務是沿著正確的路徑導航和定位到指定的位置,例如:當工廠無人車被派往指定站點時,首先要確定行駛路線,然後沿著路線導航,同時不斷地確認其所在的位置/坐標,最終到達目的地。在傳統的定位方法中,如磁帶導引、超音波、里程計算、RFID及二維碼等,有些需要環境改造,有些則存在著累積誤差、可靠度的問題。近幾年由於深度捲積網路(ConvNet)的快速發展,卓越的影像特徵擷取能力提升了純視覺定位的性能,讓AMR的導航不再需要仰賴高成本的感測器及大幅度的改變環境,即具備高精度的定位能力。
TLM全名Topological Localization Module,是使用AlexNET神經網路架構的全局特徵影像辨識,搭配Raspberry Pi 4(8G)的嵌入式裝置進行運算,並實際應用在台北科大-李志鴻教授實驗室自行開發的AMR上,目前Tensorflow模型推論的速度約為3FPS,期望使用OpenVINO Toolkit + NCS2加速,使視覺定位系統有更佳的實時(real-time)辨識能力。
解決方法:
1. 利用OpenVINO Toolkit優化模型,將Tensorflow模型轉成IR模型
- 軟體:
- OS:Ubuntu 20.04 LTS
- Python:3.8
- OpenVINO:2021.4 LTS
python3 /opt/intel/openvino_2021/deployment_tools/model_optimizer/mo.py –saved_model_dir model –input_shapr [1,64,64,3] –model_name convert_model
2. 在Raspberry Pi 4(8G)安裝OpenVINO
參考以下連結:
https://docs.openvino.ai/latest/openvino_docs_install_guides_installing_openvino_raspbian.html
3. 於Raspberry Pi 4(8G)加上NCS2進行IR模型推論
- 硬體:
- Raspberry Pi 4(8G)
- Intel NCS2
- 水管相機*4
- 軟體:
- OS:Linux
- Python:3.8
- OpenVINO:2021.4 (openvino.inference_engine)
成果介紹:
對優化前/後模型進行速度上的比較,測試圖片大小為64*64pixel的RGB影像,IR模型的推論速度最快可以達到1秒216個Frame,最慢也有75個Frame,比Tensorflow模型推論速度快了25~72倍。對於整體TLM的執行速度(包含相機取圖、影像處理及模型推論的整個重複執行過程),FPS由5提升至10,使這項技術更具備實時(real-time)的辨識能力,IR模型的精確率及召回率也能維持在高達94.84%及93.65%。綜合以上結果,OpenVINO Toolkit + NCS2能在性能不變的條件下,加速模型推論速度,因此非常推薦使用OpenVINO!