NVIDIA GTC 2021深度學習機構實作坊體驗

Posted By 陸向陽 on 5 月 5, 2021 in NVIDIA, 開箱文 | 0 comments

作者：陸向陽

NVIDIA一年一度的巡迴技術盛會GTC照常於4月舉辦，今年盛會期間有三場中文「實作訓練/實作坊」可報名參加，為每天一主題的白天全天（8小時）遠端線上即時課，分別為深度學習基礎理論與實踐（DLIW2471）、多GPU深度學習基本原理（DLIW2472）以及運用於智慧影片分析的深度學習技術（DLIW2473）。

筆者報名了第一天的深度學習基礎理論與實踐（DLIW2471），由NVIDIA資深解決方案架構師李正匡博士主講。

李博士一開始說明AI技術的發展歷程，其實早於1950年代人們即從生物學上得到靈感而嘗試開發神經網路型電腦，但發展不及馮曼紐架構的電腦快速而停滯；之後人們也嘗試發展專家系統，也因需大量的工程師、需遵循眾多嚴謹規則而難以開展；直至近年來ML、DL技術的提出，發展方逐漸走向務實。

接著進入實務，本次課程使用TensorFlow與Keras，但也建議學員課後能摸索其他的平台，如Facebook力主的PyTorch或Microsoft的MXNet。實務學習從基礎的手寫數字（0～9）影像辨識開始，並使用MNIST資料集，之類也練習美式手語的英文字母辨識。

圖1 美國手語資料集，其中字母j、z必須動態表示，故不列入靜態影像訓練。（圖片來源：NVIDIA）

線上即時課的好處是示範具有說服力，過程中有狀況也能求助並即時排除，例如MNIST資料集連結失效，講師可立即關注、協助、提供排除建議等。

在讓學員親手打造神經網路前李博士也解釋神經網路的結構，包含輸入層、隱藏層、輸出層、激勵函數（activation function）等，另外也說明各層的機理用意，例如最大池化（MAX Pooling）的程序是為了降低資料量，並有助於之後逐漸擴大辨識輪廓，一開始看到貓耳，而後是貓臉，最後是貓全身等。

圖2 整個CNN神經網路模型架構。（圖片來源：NVIDIA）

圖3 最大池化示意圖，只取各方塊內的最大值，捨棄其他數值。（圖片來源：NVIDIA）

過程中學員詢問（透過room chat）該選擇怎樣的網路模型？李博士也解答：目前確實有人在研究當如何選擇最佳的模型，屬於另一個大領域；另也解答為何訓練的辨識率為何會略高於驗證的辨識率。

此外，為了避免訓練出來的模型過度擬合（overfitting，或稱過度學習）李博士也列舉一些方法，一是在訓練均方誤差與驗證均方誤差（Mean-Square Error, MSE）的曲線開始偏離時停止訓練，另一是刻意隨機讓20～40%的節點失效，稱為Dropout。

圖4 當驗證的均方誤差曲線開始上揚（右圖紅線）則應停止訓練以避免模型過度擬合。（圖片來源：NVIDIA）

類似的，實務上還有其他問題要解決，例如訓練資料不足時該如何持續精進模型的辨識率？這時可以用上「資料增強，Data Augmentation」技術，李博士提醒使用資料增強時所應注意的事項，訓練用的圖片雖可變化，但不可違背模型訓練的任務原意。

舉例而言，如果是要訓練一個能辨識出圖片中彈珠的模型，則增強的圖片可以將彈珠平移、可以將圖片變色等，但不可以把圖中的彈珠變不見，如此就屬於不合理的增強。又或者是要訓練一個能辨識左手、右手的模型，這時就不能把左手的照片作鏡像翻轉來當成訓練素材。

在模型訓練驗證完成後即進入部署階段，過程中學員問及Triton部署，李博士回覆Triton部署已屬進階領域，未在入門範疇中。

最後，也由於李博士是業師（業界講師），相較於學術型講師有更多的業界實務可供分享，例如可以到TensorFlow Hub網站去下載別人已經預先訓練好的模型來修改，省去自己從無到有建立模型；或者，課程中用到的範例畢竟較理想，如果想真的累積實務經驗，建議可以多去參加資料科學競賽平台Kaggle上的比賽。

圖5 以自動化狗門的應用（狗才開門，貓則不動作）講解如何運用他人已訓練好的模型。（圖片來源：NVIDIA）

而關於資料類型的運用李博士也舉例，一維性的資料如有時間序列性的股價，可用來分析歷史性的股價上下波動曲線從而預測後續的可能變化；二維性的則有本次課程中的平面影像辨識；三維性的則如醫療領四的胸腔掃描影像。

在上完課程後，除了能在申請的註冊帳號內獲得學習證書外，課程中的相關講義及範例程式等也會持留一段時間，供學員複習。

（本文為合作單位益登科技提供，原文連結；責任編輯：王姵文）

關於益登科技
不僅是元件代理，更是您的最佳解決方案合作夥伴

益登科技成立於1996年，為亞洲最佳電子元件代理商與解決方案供應商，總部設立於台北，並在中國、新加坡、泰國、印度、馬來西亞、越南、日本、韓國部署完整而綿密的通路據點，為亞太區以至全球的ODM/OEM客戶、原廠提供一流的服務和解決方案。益登科技多年來深耕各項應用領域，引領潮流之先，涵蓋的產品應用範圍包括可攜式/穿戴式產品、有線/無線通訊、物聯網、汽車、機器人、醫療、工業控制、電腦以及各式各樣的電子產品，在光電、數位、類比、混合訊號等領域深具技術經驗，提供全面的服務與方案，可作為原廠、客戶、合作夥伴之間溝通的最佳橋樑。