參賽團隊名稱：JM無所畏距
本計畫所完成的MQTT可攜式攝影機，以多用途、多場域為目標進行開發，希望藉此可以讓各個區域角落進行監控，讓治安漏洞可以被發現，以提升每個區域的治安。
提案動機
因內政部110年8月至111年8月的報告結果，如圖所示，普通刑事案件所受到人財損失的被害人高達20萬人，加上今年日本前首相安倍晉三遇刺，韓國梨泰院萬聖節因人流過於密集所發生的慘案、台南因監控設備不足所發生的殺警案件，等等治安疏失的事件，為了解決此問題因此需要更為實用且可攜帶的監視系統，因此有了可攜式MQTT攝影機和動態物件辨識物聯網監控系統網頁伺服器的構想雛形，除了監視家庭、社區以及城市中各個場域，即時偵測各區域人流量，進行人流管理，並且能及時辨識環境危險物件，並即時通知大眾、警政單位，讓我們身處的環境，更加安全。
專案成果簡述
整個專案成果由MQTT可攜式攝影機及動態物件辨識物聯網監控系統網頁伺服器所構成，MQTT可攜式攝影機是以ESP32-S WiFi/BLE Soc為控制器，以FreeRTOS實現ESP32即時系統，安排MQTT通訊協議、OV2640 SPI協議以及UART Interrupt，執行3個主要任務之排程，透過MQTT發佈與訂閱的機制，可放置於不同的場域進行即時監測，除了MQTT多對多的特性之外，因MQTT是無線傳輸的方式進行發佈與訂閱，MQTT可以在家庭以及社區的危險區域進行監測，也可以搭載在無人載具進行即時監測，如無人機與無人載具，用於救災及工業AGV上，因此本企劃之MQTT可攜式攝影機可用於多場域及多用途上。
動態物件辨識物聯網監控系統網頁伺服器則是由Flask整合MQTT協議及OpenVINO之網路伺服器，其MQTT用於訂閱多個場域之MQTT可攜式攝影機及感測器的影像資料及環境數值，透過OpenCV及NumPy對影像資料進行前處理，再透過MobileNetV2訓練好的模型，自行匯入資料集再訓練一次，進行遷移式訓練，得到最佳模型，經OpenVINO Runtime API加速推論，得到即時的物件辨識結果及多場域的人流情況，透過網頁伺服器提供每個監控端一個監控網頁，進行監控，如辨識到危險的物件或者是人流過度密集，則動態物件辨識系統將通知所有監控端及Line通知，用以警示監控者及該場域人員。
物件辨識系統設計成可隨時更換模型的系統，代表著，根據不同場域及用途，可隨時更換不同的模型，達到不同的辨識結果，所以此系統將不限於智慧安防的監控，也可以通過更換模型，執行工業零件的辨識，或者是農業農作物病徵的辨識推論，用於多種場合。
成果說明
本計畫由MQTT可攜式攝影機及動態物件辨識物聯網監控系統網頁伺服器所構成，MQTT可攜式攝影機，由ESP32-S撘載FreeRTOS實現即時系統，並由OV2640攝像模組取得即時影像資料，透過MQTT傳輸至Broker端，將資料傳輸至動態辨識物聯網監控系統網頁伺服器中，因可攜式MQTT攝影機的可攜性及12小時續航力高的特點，加上本身MQTT訂閱與發佈的機制，本計畫的可攜式MQTT已經成功於校園中的各場域進行影像拍攝，藉由MQTT發佈至動態辨識物聯網監控系統網頁伺服器，取得影像資料後，以OpenCV和NumPy對影像資料進行前處理，處理成可以輸入至模型神經網路層NWHC型式的1*300*300*3之圖像資料，輸入至經由OpenVINO Runtime加速優化過後的MobileNetV2模型中推論，並辨識及時的人流量及危險物件，如偵測到危險物件，則動態物件辨識物聯網監控系統將發送警示至所有監控者，以提高人們對於危險因子的敏感度。
成果介紹
成功將此系統部屬於校園中執行動態物件辨識物聯網監控系統網頁伺服器進行監控，如果偵測出危險物件，則會立即與每個監控端發出警示
監測到危險物件時即時跳出警示訊息，提醒監控端
解決方案
1.MQTT可攜式攝影機：
MQTT可攜式攝影機由微控制器ESP32-S、OV2640攝像模組，以及6800mAh之鋰電池供電電路所構成，如圖6所示，本系統由ESP32-S WiFi/BLE Soc作為微處理器，並以FreeRTOS實現及時系統，用以規劃其MQTT通訊協議、OV2640 SPI傳輸協議以及Uart Interrupt的工作排程及資源調度的工作，實現RTOS操作系統，供電電路則搭配了鋰電池供電，可提供MQTT可攜式攝影機維持12小時的供電，容器外殼3D建模由Shapr3D進行機構設計，因MQTT發佈與訂閱的機制，MQTT可攜式攝影機可同時放置於多個場域並即時由動態物件辨識系統中進行監控。
2.MQTT通訊協議：
在本計畫中使用Raspberry Pi 4架設MQTT Mosquitto作為MQTT通訊協議架構中的Broker端，處理發布端與訂閱端之Topic主題分配的工作。
3.動態物件辨識物聯網監控系統網頁伺服器：
藉由Python Flask框架整合MQTT以及OpenVINO Runtime API，客戶端可藉由對伺服器特定URL位址發出請求，動態物件辨識物聯網監控系統網頁伺服器便會即時的對客戶端響應對應的資料，如圖所示，每個URL位置便會處理不同的請求，提供客戶端一個即時監控的網頁介面，開發網頁伺服器便提供各種不同系統的客戶端，如Windows、IOS、Linux。
動態物件辨識物聯網監控系統網頁伺服器後台監測介面
4.OpenVINO Runtime API進行模型加速推論：
在動態物件辨識物聯網監控系統網頁伺服器中，以MobileNetV2為物件辨識的模型，將圖片以NumPy resize至 300*300*3再擴增維度至4個維度，分別為NHWC，並將資料輸入至模型中，藉由模型全聯接層之權重wight以及偏差值Bias，經由OpenVINO Runtime API加速此模型的推論速度，經實驗後可發現1張圖片資料由MQTT接收到圖像資料到推論完成並取得結果平均時間間隔為294ms。
硬體資訊：
- 12th Gen Intel(R) Core(TM) i7-12700H 2.70 GHz
- 自製MQTT可攜式攝影機
- ESP32-CAM 18650鋰電池供電電路
- Raspberry Pi 4 Model B
軟體資訊：
- Flask 自製網頁伺服器(MQTT、OpenVINO™ Runtime)
AI套件：
- Intel® OpenVINO
-
OpenVINO™ Runtime
團隊自介
隊長 呂家明 進行企劃執行與實作
- 成功大學 工程科學系
- 參賽經歷
1.財團法人臺中市澄德科技教育基金會2020大專校院機電創意實作競賽決賽佳作
2.109年度經濟部工業局主辦的「金屬機電智機化暨人才扎根計畫」獲得第3名
3.中山醫學大學全國大專院校創新創意創業競賽決賽佳作
4.榮獲教育部第16屆數位訊號處理創思設計競賽決賽全國第一名
6.教育部2022年全國技專校院學生專題製作競賽暨成果展電機群 第一名
7.第18屆韓國首爾發明展 銀牌🥈
隊員: 謝鎔蔚 進行市場規模分析與研究
東海大學 企業管理系
指導教授 廖德祿
國立成功大學工程科學系 特聘教授
成果介紹影片：