【AI Powered Learning】 智慧教育系統

參賽團隊名稱：AI Powered Learning

提案動機

國內大學校院2020年受到COVID-19的影響，部分學校曾經暫時實施大學習者線上學習，然在 2021年五月中起至暑期，復因 COVID-19的流行，所有學校持續數週實施大學習者線上學習。而國內為了實現「停課不停學」的目標而啟動的各式線上教學包含有：全線上的線上同步教學、全線上的非同步教學、全線上同步和非同步一起實施的線上混成教學和部分線上部分實體的混成教學。

AI Powered Learning將結合邊緣AI電腦視覺建立一個針對線上學習者表情辨識系統，透過邊緣運算蒐集學習者觀看磨課師、線上課程影片的表情、情緒的行為特徵的數據資料，並將這些數據透過深度學習進行分析並提出一個基於電腦視覺影像辨識技術應用於人工智慧之AI Powered Learning分析系統。用於提供給教師一個客觀的教學參考，進而對學習者在線上學習的參與度狀態進行成效評估。

解決方案

硬體：

1. Raspberry pi 4 B
2. USB Camera
3. Neural Compute Stick 2
4. notebook CJSCOPE SX-750 GX

軟體：

1. Intel OpenVINO 2019_R3 (模型轉換及推論加速用)
2. Intel OpenVINO 2020.03  (模型轉換及推論加速用)
3. Anaconda (Python程式開發)

成果介紹

學習者在觀看線上課程的臉部情緒特徵和學習的相關性確立。蒐集學生進行線上學習時的錄影檔，並利用電腦視覺模型偵測蒐集學生的表情資訊進行資料標註學習表情特徵，例如文獻中的netutral、happy、sad、surprise、anger，等五種表情，本程式是參考Interactive Face Recognition Demo，使用到pre-trained models的有face-detection-retail-0004 (人臉標示)、emotions-recognition-retail-0003(情緒辨識)，完成人臉標示及情緒辨識。

蒐集學生進行線上學習時的錄影檔，利用電腦視覺模型偵測蒐集學生的電腦視窗注視角度，本程式是參考Gaze Estimation Demo，使用到pre-trained models的有face-detection-adas-binary-0001(人臉標示)、 gaze-estimation-adas-0002(眼睛注視)、 head-pose-estimation-adas-0001(頭部姿態)、 landmarks-regression-retail-0009(臉部標誌)。

最後經分析結果將最後統整出所有frames每格的表情變化並由統計圖表直線圖顯示情緒變化次數。未來當AI Powered Learning團隊蒐集到更多dataset時，運用深度學習（deep learning）技術將可擴展多模態學習分析面向，讓分析和介入技術更為成熟和準確，可進一步導入商用線上學習環境，期盼本技術能讓日益普及的線上學習更有效率。

成果影片

初步測試結果如影片所示。

參考資料

1. Dewan, M. A. A., Murshed, M., & Lin, F. (2019). Engagement Detection In Online Learning: A Review. Smart Learning Environments, 6(1), 1-20.
2. Wong, J., Baars, M., Davis, D., Van Der Zee, T., Houben, G. J., & Paas, F. (2019). Supporting Self-regulated Learning In Online Learning Environments And Moocs: A Systematic Review. International Journal Of Human–computer Interaction, 35(4-5), 356-373.
3. Ozdemir, D., & Ugur, M. E. (2021). Model Proposal On The Determination Of Student Attendance In Distance Education With Face Recognition Technology. Turkish Online Journal Of Distance Education, 22(1), 19-32.
4. Soltani, M., Zarzour, H., Babahenini, M. C., Hammad, M., Mohammad, A. S., & Jararweh, Y. (2019, October). An Emotional Feedback Based On Facial Action Coding System For Moocs With Computer-based Assessment. In 2019 Sixth International Conference On Social Networks Analysis, Management And Security (SNAMS) (Pp. 286-290). Ieee.
5. Brown, D. (2021, March). Mobile Attendance Based On Face Detection And Recognition Using Openvino. In 2021 International Conference On Artificial Intelligence And Smart Systems (ICAIS) (Pp. 1152-1157). Ieee.
6. D’errico, F., Paciello, M., De Carolis, B., Vattanid, A., Palestra, G., & Anzivino, G. (2018). Cognitive Emotions In E-learning Processes And Their Potential Relationship With Students’ Academic Adjustment.