【OpenVINO】專欄

借助簡化開發和最佳化硬體利用率的工具，OpenVINO使開發者能夠在各種即時和資源受限的場景中部署高性能的LLM；無論是構建回應迅速的聊天機器人或高效率虛擬助手，還是具備可擴展性的創意應用，OpenVINO正在重新定義AI推論的可能性。本文將探討如何利用OpenVINO GenAI的推測式解碼技術使這一變革性創新成為現實。

一個完整的數位分身，就像真人一樣，要具有自然語言對話、豐富肢體動作和產生生動表情的能力，其中就需要用到許多生成式AI技術，包括利用語音轉文字(STT)得到問題的文字，交給大語言模型(LLM)進行文字問答，再將文字轉語音(TTS)把答案讀出，最後再配合語音自動對嘴形(Lip Sync)讓人物影像的嘴巴也能和語音同步動起來。

OpenVINO的最新版本2025.0，除了性能的再次提升，也擴大了GenAI模型的支援範圍，並針對Intel NPU導入了關鍵最佳化功能。讓我們一起來探索這些令人興奮的更新！

為了使大家能更進一步理解如何實作一個簡單離線版(邊緣端)的虛擬主播，可以輸入所需文字，產生對應語音，配合閉嘴人物影片生成新的對嘴影片。接下來就分別從「推論硬體及環境建置介紹」、「MeloTTS 文字轉語音生成」、「Wav2Lip 自動對嘴影片生成」及「建置完整虛擬主播」等四大部份作更進一步說明。

OpenVINO GenAI API提供了原生C++介面，免除對Python依賴項的需求，讓開發者能以更節省資源的方法打造AI應用。本文提供了使用Windows作業系統為範例，逐步構建OpenVINO GenAI 應用程式的指南。

近期微軟發佈了最新的Phi-3.5系列SLM模型，是非常適合在AI PC上運作的模型任務。本文將分享如何利用OpenVINO在你的AI PC上部署最新Phi-3.5-mini及Phi-3.5-vision模型。

OpenVINO 2024.3版本現在已經正式推出！這次更新帶來了新的功能，並對現有功能進行了強化，特別是大型語言模型(LLM)的性能；本文將介紹此新版本的關鍵進展。

全新的OpenVINO GenAI API為開發者提供了更簡單與清晰的程式碼；這意味著除了提供電腦視覺、AI加速與最佳化程式庫，OpenVINO現在也是開發者實現GenAI應用的助力。

本文主要於ASRock NUC BOX-155H平台進行，使用Intel Core Ultra運作的NUC (下一代計算單元)。我們將姿態辨識模型OpenPose、3D Pose、MoveNet 與 YOLOv8 模型轉換為OpenVINO IR模型格式，分別在CPU、iGPU及NPU上進行部署。觀察這些模型在CPU、iGPU及NPU的硬體效能差異，透過實際執行影片推論的過程，觀察NPU的性能表現。

在當前AI PC問世之際，相信不少人已知道OpenVINO可以加速離線大語言模型(LLM)的推論速度，本篇文章是要更進一步在資源更為受限的單板電腦上進行大語言模型的推論，甚至是實作一個離線大語言模型的AI助理出來！

在這篇文章中，我們將探索LLaVA-NeXT多模態聊天機器人Notebook，學習如何轉換和最佳化LLaVA-NeXT模型來打造多模態聊天機器人。此外，我們將探討如何在LLM部分應用有狀態轉換(stateful transformation)和使用NNCF進行權重壓縮和量化等模型最佳化技術。

多模態可以同時處理視覺、聽覺和文字資料，以驚人的深度和精確度解釋其環境；在這篇文章中，我們將深入探討多模態AI的能力，並探索Intel的OpenVINO工具套件如何最佳化這些複雜系統，以因應現實世界的應用。

透過LangChain，開發者可以輕鬆構建基於RAG或者Agent流水線的複雜應用體系，而目前我們已經可以在LangChain 的關鍵元件LLM、Text Embedding和Reranker中直接呼叫OpenVINO進行模型部署！

利用OpenVINO部署Llama3到本地運算資源，例如AI PC，不僅意味著更快的回應速度和更低的運作成本，還能有效地保護資料安全，防止敏感資訊外洩。這對於需要處理高度敏感性資料的應用場景尤其重要，如醫療、金融和個人助理等領域。本文將介紹如何使用OpenVINO對Llama3模型進行最佳化和推論加速，並將其部署在本地裝置上，進行更快、更智慧的AI推論。

YOLOv9模型是YOLO系列即時目標檢測演算法中的最新版本，代表著該系列在準確性、速度和效率方面的又一次重大飛躍。在本文中，我們將結合OpenVINO C# API使用最新發佈的OpenVINO 2024.0部署YOLOv9目標檢測和實例分割模型。

OpenVINO 2024.0來了！我們很高興在這個版本推出一系列強化功能，目標是在快速發展的AI領域賦予開發者更強大的能力；新版本透過動態量化、改善的GPU最佳化以及對混合專家(MoE)模型架構的支援，增強了大語言模型(LLM)的性能。OpenVINO 2024.0讓開發者能有效利用AI加速，這也要感謝來自社群的持續貢獻。

本文示範如何以OpenVINO與Optimum Intel載入並執行Whisper與Distil-Whisper模型進行音訊轉錄任務，以及如何使用NNCF對這些模型執行INT8訓練後量化；接著在橫跨多種CPU的裝置上以大規模語音轉文字資料集評估這些模型。

本篇文章會以OMZ 影像分類(Classification) Public Pre-Trained Models為例，說明如何在Colab 上直接運行Intel Open Model Zoo。

在最新一代的Intel Core Ultra行動終端處理器中已經整合了簡稱為NPU的神經網路加速處理器，以提供低功耗的AI算力，而OpenVINO工具套件也在第一時間對NPU進行了配接。本文將帶領讀者一起看看如何在Intel Core Ultra處理器上搭建基礎環境，並呼叫NPU進行模型推論任務。

隨著生成式AI的興起，和大語言模型對話聊天的應用變得非常熱門，但這類應用往往只能簡單地和你「聊聊家常」，並不能針對某些特定產業提供非常專業和精準的答案。那有沒有辦法讓你的模型學習到新的知識呢？當然有!在沒有足夠GPU運算資源對模型進行重新訓練的情況下，RAG方式對普通使用者來說更友善。本文就要來探討如何利用OpenVINO以及LangChain工具構建屬於你的RAG問答系統。

LLM大模型存在很多痛點，包括但不限於資料陳舊、無法和外部元件互動等，本文旨在使用 OpenVINO 2023.1新版本的特性加速Llama2模型，為Llama2客製化Prompt，並用LangChain 實現可連網取得最新消息的輔助搜尋功能

本文將說明如何善用英特爾(Intel)所研發的新產品和相關技術，來提升AI模型的訓練效率，以便提供更優質的推論功能。為了循序漸進介紹上述的新產品及其相關的使用技術，本文先從大家熟悉ResNet50圖像分類模型做為起步範例，並搭配LoRA來進行外掛訓練，以便從這簡單範例中充分理解如何活用上述的創新產品及相關技術。

OpenVINO發佈最新2023.2版本了！與之前的版本一樣，在提高性能、增加對新AI模型的支援，以及構建基礎設施和模型快取等不同元件方面都有重大改進，除了並導入在CPU和整合顯卡上運作權重量化為int8和int4精度的LLM的能力，也更新了模型轉換和最佳化工具；OpenVINO產品架構師Yury Gorbachev將在本文詳細介紹新版本的優勢。

最近橫空出世的潛在一致性模型(LCM)讓文生圖模型的圖片急速生成變成可能。LCM可以在任何預訓練的潛在擴散模型上進行快速推斷、步驟最少，包括穩定擴散模型(Stable Diffusion)。用OpenVINO也能對充滿魔力的LCM文生圖模型進行完全的最佳化、壓縮以及推理加速、快速部署的支援！

OpenVINO  2023.1版本希望將生成式 AI 的強大功能導入常規桌上型電腦和筆記型電腦，讓這些模型可以在資源受限的本地環境中運作`在整個產品中針對這些場景進行了最佳化，實現了一些關鍵功能，並為我們的下一步工作計畫奠定了基礎。也就是說，我們的變化不僅限於生成式AI，我們還改進了產品的其他部分。以下讓我們來看看這些變化到底是什麼。

由於工業科技快速發展，環境議題一直備受討論與重視；近幾年，由於邊緣運算、AI、硬體加速與無人機等技術趨於成熟，公民營機構－－尤以公部門為首－－開始思考是否能借助科技的力量來進行環境工程，本文即以AI物件分割技術作為技術基礎，配合台中市環保局河川揚塵防治計畫進行河床地貌影像分割。

隨著電腦視覺和自然語言處理領域的快速發展，視覺與語言的融合越來越受到研究人員的重視。在這個背景下，BLIP引起了廣泛關注－－該模型在大規模的影像文字資料集上預訓練深度神經網路模型，以提高下游視覺語言任務的性能，如影像文字檢索、影像描述和視覺問答。本文作者將帶領讀者一步步了解如何在研揚科技(AAEON)的新產品UP Squared Pro 7000 Edg上，利用OpenVINO來最佳化BLIP的推論加速。

Meta終於推出了免費商用版本Llama 2，藉著這個機會，我們來分享一下如何用Llama 2和OpenVINO工具套件來打造一款聊天機器人。

隨著OpenVINO 2023.0版本的發佈，OpenVINO工具庫中預置了全新的PyTorch前端，為開發者們提供了一條全新的PyTorch模型支援路徑，帶來更友好的用戶體驗—— OpenVINO的mo工具可以直接將PyTorch模型物件轉化為OpenVINO的模型物件，開發者可以不需要將ONNX模型作為中間過渡。

以往在AI模型部署優化及推論部份，通常都會想到使用 Intel OpenVINO，不過大家多半只注意到它在「電腦視覺」相關的應用，殊不知自從2022.1版後就已開始加入許多「自然語言」的範例。而最近2023.0版又更加強GPU處理記憶體動態外形(Dynamic Shape)的能力，使得如生成型預訓練變換模型(GPT)這類基於轉換器(Transfomer)技術的大型語言模型能得到更好的實現。

透過HuggingFace開源的Transformers、Diffusers程式庫，只需要要調用少量介面函數，入門開發者也可以非常便捷地微調和部署自己的大模型任務，你甚至不需要知道什麼是GPT、BERT就可以用它們的模型，開發者不需要從頭開始構建模型任務，大幅簡化了工作流程。

OpenVINO 五週年紀念日即將來臨的此刻，我們很興奮地宣佈OpenVINO最新版本──OpenVINO 2023.0問世！新版本的重點是透過最大限度減少離線轉換、擴大模型支援和推進硬體最佳化來改善開發者之旅，以下讓我們對一些新功能進行深入研究…

近期掀起的一陣AIGC浪潮讓ChatGPT大型語言模型、Midjourney與DALL-E等圖像生成模型備受關注，其中又以Stable Diffusion最受到社群熱烈討論，主要原因就是可以自行佈署與修改模型，可玩性與彈性相當大！本篇就要來介紹如何使用OpenVINO Notebooks來玩Stable Diffusion V2！

本文章將介紹使用OpenVINO C++ API開發YOLOv8-Seg實例分割(Instance Segmentation)模型的AI推論程式。

本文主要介紹如何在Windows平台以Visual Studio為基礎配置OpenVINO C++開發環境，作者將帶領大家一步步從零開始，並提供完整的測試程式碼。

最近在電腦視覺領域就出現了專屬的物體分割大模型，由Meta開源的「萬物可分割」（SAM）物體分割模型。這個強大的通用分割模型，當然也能用OpenVINO進行最佳化以及推論的加速，使其能方便快速地在Intel的CPU上部署執行。來跟著我們提供的程式碼與步驟一起來動手試試吧！

你知道我們也可以執行最夯的Stable Diffusion圖片生成模型，並且將該模型轉換為OpenVINO的IR格式，讓它在CPU與GPU上高效率執行嗎？

YOLO又推出了最新的YOLOv8模型，其模型架構創新以及性能提升，使其剛問世就獲得廣大開發者的關注。如果說利用OpenVINO的量化和加速，利用英特爾CPU、整合式顯卡以及獨立顯卡與同一程式碼庫無縫協作，可以獲得1000+ FPS的性能，你相信嗎？我們將一步步教你在利用OpenVINO在英特爾處理器上實現這樣的性能。

本文將依序介紹OpenVINO toolkit不久前針對工業瑕疵檢測推出的Anomaly Lib函式庫架構，挑選數個知名異常檢測模型進行原理、特色說明，並逐步進行操作說明。

YOLOv7 使用了 pyTorch 框架實作 YOLO 架構，並且導出模型，這在使用上無疑更具彈性與方便性。本篇文章將運用 OpenVINO 來對 YOLOv7 模型進行轉換，提高其在邊緣裝置上的 AI 推論效能！

Intel OpenVINO Toolkit 2022.1版在今年作出不少重大變革，本文將帶大家認識DL Streamer架構及安裝技巧，以及分析DL Streamer的表現，帶領大家深入了解OpenVINO這項好用的工具。

隨著Win11上市，WSL2也迎來較大幅度的更新，本文將帶著大家從零開始一步一步架設Linux開發環境並且安裝安裝Intel OpenVINO、Docker和DL Streamer進行練習。

Intel OpenVINO 在今年迎來最大幅度的版本更新，除更便利開發者進行操作外，也對 API 進行優化，那麼該如何利用這個最新版本的OpenVINO 推論 Teachable Machine 模型呢？一起來了解看看吧！

OpenVINO 2022.1版本中，透過PrePostProcessor (PPP) APIs使得推論效能有明顯的改善，當使用iGPU來推論時，其效能更大幅超越CPU和神經運算棒(NCS2, Myriad X)。PPP的特色及優勢為何？且看本文介紹。

Intel開發的電腦視覺與深度學習應用的開發套件OpenVINO自2018年問世以來，造福了不少AI應用的開發者，而今年發布的2022.1版是這三年半來最大幅度的更新，本文將簡單盤點此次更新的幾大要點。

不會訓練AI模型，是否一定要從頭開始苦學神經網路，才能開發AI？現在有了事半功倍的方法 – OpenVINO Notebooks，本文將介紹如何運用這項工具進行系統化學習，無痛打開AI落地的應用大門。

Intel在2021下半年推出的OpenVINO™ integration with TensorFlow能夠實現在TensorFlow中介接OpenVINO執行推論加速，本篇將帶大家實際操作，了解如何在不用改code的情況下，直接在TensorFlow推論並完成OpenVINO加速。

本文將探討是否可以直接用OpenCV進行影像處理、辨識，並在瀏覽器上應用Intel的OpenVINO的Inference Engine套件，並以IR model檔案去進行AI推論。

OpenVINO Toolkit子專案Open Model Zoo提供超過300個以上立即可用的預訓練AI模型，涵蓋超過50種不同類型的範例程式原始碼，讓想要嘗試進入AI領域的人更容易上手，本文章將帶領讀者一起探索這個資源豐富的寶庫。

本文針對OpenVINO進行模型最佳化轉換的效能實測，證明Intel-based PC及NB也能拿來當AI辨識引擎沒問題。

Intel DevCloud是一個免費的AI雲端開發平台，開發者們可運用這些資源來學習並應用AI，本篇文章將使用DevCloud for the Edge，在簡單的四個步驟之中，完成一個Object Detection物件偵測的DEMO操作。

本文透過object_detecion_demo運作觀察，參數設定過程如何影響模型在同一台機器上推論效率的變化，接下來的內容為觀察到的現象，可以作為日後模型推論在配置時參數設定的一些參考。

本文將介紹如何應用OpenVINO的DL Workbench選用現有或是自製的模型，透過GUI介面，輕鬆完成模型的分析與部署工作。

本文將介紹如何結合Teachable Machine與OpenVINO兩個簡單好上手的AI工具，幫助使用者在短時間內完成簡單的邊緣運算模型訓練，同時也更快速的綜觀全局並找到解決問題的方向。

Intel 推出的免費雲端開發平台「DevCloud」，不僅提供OpenVINO讓使用者進行AI推論程式開發及測試，更協助評估佈署後效能，讓使用者可以更精準地採購所需設備。本篇文章將帶領讀者深入了解這項免費工具。

本文將介紹ROS解決方案及OpenVINO架構，並且評測YOLOv3在Edge AI上的應用及效能。

即時掌握學生的學習狀態，對教師維繫教學品質來說非常重要。本文將探討能否透過人工智慧與資訊技術的結合，進一步瞭解學生學習過程中的學習狀況與學習態度的資訊，解決學生人數較多時難以由教師親自察看的處境。

本文將介紹聰泰科技如何結合自身在專業影像領域的經驗及AI團隊，搭配OpenVINO平台推出影像AI解決方案，幫助工程師們能輕鬆將傳統的監控應用升級到AI級的影像應用。

身為人工智慧(AI)從業人員，如何兼顧模型的速度和準確度是一大挑戰。利用INTEL OpenVINO推出的「Post-Training Optimization Tool (POT)」能有效解決，一起來了解如何使用吧。

DL Workbench(Deep Learning Works Benchmark)一個方便的網頁式圖形化介面工具，讓非程式設計背景的社群夥伴都可以輕鬆使用，一起來看看其使用流程以及範例操作吧！

當深度學習技術遇到視訊檔案或串流影片時，逐格(by Frame)影像分析就變得很沒效率，有辦法提升嗎？可試試用DL Streamer來加速喔。

為解決安裝步驟系統無法運行，OpenVINO推出Docker安裝方式，輕鬆搞定安裝及執行問題，本篇簡單說明Docker是什麼？以及相關的工作環境以及範例說明。

最近麵包影像辨識結帳機很紅，且用Windows 10 PC來做做看如何套用現有模型Model來做物件偵測。

機器手臂早已成為自動化工廠中不可或缺的最佳幫手，本篇文章將會說明如何使用Intel OpenVINO™+RealSense™自製機器手臂之視覺系統。

處理電腦視覺只能靠 OpenCV 單打獨鬥嗎？OpenVINO 開源工具其實強化了「深度學習」技術在電腦視覺的相關應用，有效搭配兩者將能提升執行效能。

本篇文章運用 OpenVINO、UP Squared、RealSense 深度攝影機，實作道路避障偵測。

微軟推出的Kinect雖然在2017年停產，卻也讓體感互動更上一層樓，但其實想要自製體感控制系統也不無可能，本篇文章將會說明，如何使用Intel OpenVINO結合OpenPose預訓練模型來完成「土炮體感控制系統」。

本文將帶讀者在嵌入式控制板上面操作 OpenVINO，搭配 Movidius NCS2 使用 Tensorflow 物件辨識、圖片物件分類技術，並針對台灣路況即時影像（九份老街）進行街景識別。

過去要做到精準的物件偵測，不僅需要高難度的技術更需要專家協助，但運用OpenVINO能讓「語義分割」及「實例分割」的開發難度大大降低，本篇文章將會分享「實例分割型智慧監控系統」的概念驗證實驗。

本篇文章介紹如何使用 OpenVINO 所提供的三種預先訓練模型：face detection、facial landmarks 及 facial embedded features 來進行人臉識別。

本文介紹如何將Caffe預訓練的模型，在OpenVINO™環境下套用DNN來進行物件偵測。

本文除了介紹影像語義（像素級）分割原理、OpenVINO基本架構，更以如何建構自駕車視覺系統為例，介紹如何應用OpenVINO中預先訓練與優化的模型來進行場景辨識。

OpenVINO提供已經替開發者訓練好不少模型（Pre-trained model），本文將帶領你透過臉部辨識模型來判斷被攝者的性別與推測年齡，並進一步描繪數位看板智慧應用情境。

本篇將介紹 Intel 在今（2018）年推出OpenVINO，一套開放視覺推論及神經網路最佳化軟體平台，大幅降低在各種不同使用場景中，造成開發上耗費大量的精力和成本。

一個完整的數位分身，就像真人一樣，要具有自然語言對話、豐富肢體動作和產生生動表情的能力，其中就需要用到許多生成式AI技術，包括利用語音轉文字(STT)得到問題的文字，交給大語言模型(LLM)進行文字問答，再將文字轉語音(TTS)把答案讀出，最後再配合語音自動對嘴形(Lip Sync)讓人物影像的嘴巴也能和語音同步動起來。

以mini PC作為多媒體AI個人助理的應用，展現了AI技術日益貼近日常生活的趨勢，未來這類設備將在提升個人生活品質和工作效率方面扮演越來越重要的角色，而本文將分析NUC BOX-155H這台mini PC在多媒體處理上的效能，並且分享一個未來十分看好、能成為個人多媒體助理的AI模型：Stable Diffusion及其多個版本的發展與應用選擇。

本文主要於ASRock NUC BOX-155H平台進行，使用Intel Core Ultra運作的NUC (下一代計算單元)。我們將姿態辨識模型OpenPose、3D Pose、MoveNet 與 YOLOv8 模型轉換為OpenVINO IR模型格式，分別在CPU、iGPU及NPU上進行部署。觀察這些模型在CPU、iGPU及NPU的硬體效能差異，透過實際執行影片推論的過程，觀察NPU的性能表現。

在當前AI PC問世之際，相信不少人已知道OpenVINO可以加速離線大語言模型(LLM)的推論速度，本篇文章是要更進一步在資源更為受限的單板電腦上進行大語言模型的推論，甚至是實作一個離線大語言模型的AI助理出來！

本文要來介紹如何利用BF16半精度浮點數以及將影像資料設為NHWC格式兩項技術，來最佳化大型AI模型的訓練速度與記憶體節省，並延續以微調模型訓練為範例，透過完整程式碼來示範如何發揮這兩項新技術的用法和魅力。

本文將說明如何善用英特爾(Intel)所研發的新產品和相關技術，來提升AI模型的訓練效率，以便提供更優質的推論功能。為了循序漸進介紹上述的新產品及其相關的使用技術，本文先從大家熟悉ResNet50圖像分類模型做為起步範例，並搭配LoRA來進行外掛訓練，以便從這簡單範例中充分理解如何活用上述的創新產品及相關技術。

本文開箱測試研揚（AAEON）今年 2023 最新推出第三世代的 UP Squared PRO 7000，運行 OpenVINO Notebooks 測試 AI 運算的效能。

習慣以筆電或桌機運行 Windows 的使用者在製作 AI 邊緣運算專案時，選擇同樣安裝Intel CPU的單板電腦能大幅度降低熟悉新系統的時間，而OpenVINO 2022.1出現更降低了Intel 執行 AI 推論的部屬與操作時間，本文將使用研揚的 UP Squared Pro 7000 Edge進行實測與教學。

以往在AI模型部署優化及推論部份，通常都會想到使用 Intel OpenVINO，不過大家多半只注意到它在「電腦視覺」相關的應用，殊不知自從2022.1版後就已開始加入許多「自然語言」的範例。而最近2023.0版又更加強GPU處理記憶體動態外形(Dynamic Shape)的能力，使得如生成型預訓練變換模型(GPT)這類基於轉換器(Transfomer)技術的大型語言模型能得到更好的實現。

近期掀起的一陣AIGC浪潮讓ChatGPT大型語言模型、Midjourney與DALL-E等圖像生成模型備受關注，其中又以Stable Diffusion最受到社群熱烈討論，主要原因就是可以自行佈署與修改模型，可玩性與彈性相當大！本篇就要來介紹如何使用OpenVINO Notebooks來玩Stable Diffusion V2！

為了更進一步了解這類迷你主機在AI推論效能的表現，此次選用東擎(ASRock Industrial) NUC BOX-1260P作為測試機，AI推論部份則選用OpenVINO 2022.3版作為基礎工具。而測試項目則使用OpenVINO Notebooks中最新的物件偵測「Convert and Optimize YOLOv8 with OpenVINO」範例作為實測效能的分析。

YOLOv7 使用了 pyTorch 框架實作 YOLO 架構，並且導出模型，這在使用上無疑更具彈性與方便性。本篇文章將運用 OpenVINO 來對 YOLOv7 模型進行轉換，提高其在邊緣裝置上的 AI 推論效能！

OpenVINO工具套件讓電腦視覺AI應用開發人員能跨多個硬體平台加速AI模型的效率，本文是針對OpenVINO在工業電腦上運作的效率進行驗證而做出的評測報告。

本文針對OpenVINO進行模型最佳化轉換的效能實測，證明Intel-based PC及NB也能拿來當AI辨識引擎沒問題。

本文透過object_detecion_demo運作觀察，參數設定過程如何影響模型在同一台機器上推論效率的變化，接下來的內容為觀察到的現象，可以作為日後模型推論在配置時參數設定的一些參考。

本文將介紹ROS解決方案及OpenVINO架構，並且評測YOLOv3在Edge AI上的應用及效能。

即時掌握學生的學習狀態，對教師維繫教學品質來說非常重要。本文將探討能否透過人工智慧與資訊技術的結合，進一步瞭解學生學習過程中的學習狀況與學習態度的資訊，解決學生人數較多時難以由教師親自察看的處境。

一個完整的數位分身，就像真人一樣，要具有自然語言對話、豐富肢體動作和產生生動表情的能力，其中就需要用到許多生成式AI技術，包括利用語音轉文字(STT)得到問題的文字，交給大語言模型(LLM)進行文字問答，再將文字轉語音(TTS)把答案讀出，最後再配合語音自動對嘴形(Lip Sync)讓人物影像的嘴巴也能和語音同步動起來。

本文主要於ASRock NUC BOX-155H平台進行，使用Intel Core Ultra運作的NUC (下一代計算單元)。我們將姿態辨識模型OpenPose、3D Pose、MoveNet 與 YOLOv8 模型轉換為OpenVINO IR模型格式，分別在CPU、iGPU及NPU上進行部署。觀察這些模型在CPU、iGPU及NPU的硬體效能差異，透過實際執行影片推論的過程，觀察NPU的性能表現。

本文要來介紹如何利用BF16半精度浮點數以及將影像資料設為NHWC格式兩項技術，來最佳化大型AI模型的訓練速度與記憶體節省，並延續以微調模型訓練為範例，透過完整程式碼來示範如何發揮這兩項新技術的用法和魅力。

英特爾(Intel)攜手24家合作夥伴於年度台灣醫療科技展(Healthcare+ EXPO 2023)共同展示基於最新AI技術的實際應用案例，並將與近300位來自東南亞、東北亞、歐洲、中東、美州的國際代表團專家互相交流分享，以及安排超過80場的商業媒合會議，促進台灣與國際合作機會，持續擴大智慧醫療推廣與應用。

在日前一場由處理器大廠英特爾(Intel)代理商夥伴──電子零組件通路業者建智(Sertek)主辦的「Visual to AIGC智慧應用落地部署實務論壇」技術研討會，邀請到來自不同領域的專業廠商分享在部署邊緣AI視覺應用的成功案例。

在多年前將Arduino開發板導入台灣市場、引領Maker年代的PlayRobot，以Intel所開發的開放性深度學習推論應用工具套件OpenVINO做為媒介，設計結合動手實作與理論的教學課程，期望能讓完全不懂AI的新手、或是跨領域的學習者，都能輕鬆進入AI世界。

近期最火熱的科技話題，非ChatGPT莫屬，本文將說明如何在 RK-OpenVINO™ AI BOX 上建立一個 LINE 對話機器人，並串接 OpenAI API 來做到更好的對話體驗。

為了更進一步了解這類迷你主機在AI推論效能的表現，此次選用東擎(ASRock Industrial) NUC BOX-1260P作為測試機，AI推論部份則選用OpenVINO 2022.3版作為基礎工具。而測試項目則使用OpenVINO Notebooks中最新的物件偵測「Convert and Optimize YOLOv8 with OpenVINO」範例作為實測效能的分析。

由MakerPRO攜手Intel舉辦的第18次「Edge AI社聚」，邀請到在2022年Intel DevCup競賽實作組獲得前三名的團隊，分享他們是如何成功開發出分別能解決珠寶業、養雞業，以及物業管理/保全業「痛點」，並協助業者降低成本、加速工作效率的商用邊緣人工智慧方案…

傳統鑽⽯品質檢測需要⼈⼯進⾏⽬視檢測和評估，具有侷限性和不可量化的問題，利⽤AI技術進⾏⾃動化鑽⽯品質檢測，不但具有⾼效率及⾼準確性的優勢，也可以實現品質量化。

YOLO又推出了最新的YOLOv8模型，其模型架構創新以及性能提升，使其剛問世就獲得廣大開發者的關注。如果說利用OpenVINO的量化和加速，利用英特爾CPU、整合式顯卡以及獨立顯卡與同一程式碼庫無縫協作，可以獲得1000+ FPS的性能，你相信嗎？我們將一步步教你在利用OpenVINO在英特爾處理器上實現這樣的性能。

本作品使用 OpenVINO 進行人體建模（3D），並將其應用於助聽器選配，解決助聽器調整人、事、時、地、物之限制，更展現了數位醫療替身之前瞻運用。

閃燃是一種可怕的火場現象，此現象號稱是消防員的天敵，最容易在一瞬間令消防員致命。本專案希望協助消防員及時判斷出閃燃前的徵兆並加以應變，以挽救不必要的傷亡。

AI疾病預測系統的開發與應用，可協助診斷，提供遠距或診間醫療衛生服務。本開發案以酒癮為例，開發並應用AI模型，依據疾病史來預測是否罹患酒癮。

看見機台從資料的收集、AI技術的應用與快速佈署，站在使用者角度全方位的考量，以專案目標選擇適用的感測器與方法，建立友善的介面供使用者快速落地佈建，和高性價比的硬體投資。

骨質疏鬆是全世界第二大流行病，本文將介紹如何使用一般X光機或行動X光車拍攝出符合WHO醫學指引的髖部醫學影像，並運用AI輔助分析，於6秒鐘內產出骨質疏鬆風險報告。

透過電腦視覺系統(Computer Vision)，可以讓電腦自動學習推論並給出更具效率的判斷與決策，藉由固定路線且即時的公車裝載電腦視覺系統，利用 Object Detection Model 即時偵測路況。

廣大的開放型水域或戲水場所，救生人員不一定可以即時發現溺水求救的民眾，而錯失救援機會，甚至發生悲劇，此專案希望透過影像偵測即時救援溺水的人。

純文字的時代漸漸過去，拍出漂亮照片則是人人都已擁有的能力(因為手機越來越強大)，那麼將這兩個概念結合起來如何？來看看這具有創意的專案吧！

本專案嘗試開發出一台AI邊緣裝置，在進書時能幫書店老闆自動辨識此書的封面文字，並上傳雲端；當顧客上門，只需上雲端查詢即可找到想要的書。

社會中，不乏有許多視障者需要生活機能上的協助，透過這些工具能夠帶給他們更好的體驗，並且實質幫助到他們的食衣住行，視障朋友不論是外出或是生活起居上皆有可能會遇到困難，請跟著我們一起了解這些作品吧！

Intel在Hackster.io上發起一次AI挑戰賽，比賽包含三個獎項，本文將針對早鳥提交獎及開發者票選獎提出5個作品來進行介紹。

Intel在Hackster.io上發起一次AI挑戰賽，比賽包含三個獎項，本文將針對由專業評審選出的Grand Prize優勝作品進行觀察。

今年4月，一台失控的工程車滑落軌道，造成死傷慘重的列車出軌事故。這起意外不禁讓人思考，有沒有辦法透過「科技」的力量及早預警，避免悲劇發生？本文將從AI影像辨識功能出發，剖析是否能夠利用現有的技術，製作出可以即時偵測、預警鐵道障礙物的辨識系統。

最近麵包影像辨識結帳機很紅，且用Windows 10 PC來做做看如何套用現有模型Model來做物件偵測。

機器手臂早已成為自動化工廠中不可或缺的最佳幫手，本篇文章將會說明如何使用Intel OpenVINO™+RealSense™自製機器手臂之視覺系統。

本篇文章運用 OpenVINO、UP Squared、RealSense 深度攝影機，實作道路避障偵測。

微軟推出的Kinect雖然在2017年停產，卻也讓體感互動更上一層樓，但其實想要自製體感控制系統也不無可能，本篇文章將會說明，如何使用Intel OpenVINO結合OpenPose預訓練模型來完成「土炮體感控制系統」。

本文將帶讀者在嵌入式控制板上面操作 OpenVINO，搭配 Movidius NCS2 使用 Tensorflow 物件辨識、圖片物件分類技術，並針對台灣路況即時影像（九份老街）進行街景識別。

過去要做到精準的物件偵測，不僅需要高難度的技術更需要專家協助，但運用OpenVINO能讓「語義分割」及「實例分割」的開發難度大大降低，本篇文章將會分享「實例分割型智慧監控系統」的概念驗證實驗。

本文除了介紹影像語義（像素級）分割原理、OpenVINO基本架構，更以如何建構自駕車視覺系統為例，介紹如何應用OpenVINO中預先訓練與優化的模型來進行場景辨識。

OpenVINO提供已經替開發者訓練好不少模型（Pre-trained model），本文將帶領你透過臉部辨識模型來判斷被攝者的性別與推測年齡，並進一步描繪數位看板智慧應用情境。

是時候在生成式人工智慧(AI)領域大放異彩地開啟2024年了，最新的OpenVINO推論工具2023.3 LTS版本隆重登場，導入了額外的框架改變，最佳化了生成式AI模型的特性，並強化了對現有平台的支援，將使您在新的一年中的程式編寫之旅變得異常精彩！本文將帶您了解新版本OpenVINO的一些重要更新。

英特爾舉辦的2023年首場DevCon系列線上講座，由重量級講者與近300位聽眾分享過去五年來OpenVINO團隊持續推動技術進展以及擁抱開源的理念，並介紹2023.0版本OpenVINO的技術亮點，及如何利用該工具套件加速部署當前最夯的生成式AI模型，實現高性能推論應用。

由MakerPRO攜手Intel舉辦的第18次「Edge AI社聚」，邀請到在2022年Intel DevCup競賽實作組獲得前三名的團隊，分享他們是如何成功開發出分別能解決珠寶業、養雞業，以及物業管理/保全業「痛點」，並協助業者降低成本、加速工作效率的商用邊緣人工智慧方案…

近年來興起的AI補強了傳統機器視覺的不足，逐漸成為製造業品管的新寵技術。本文將介紹如何運用開源AI 工具提升製造品管效益，並剖析此技術的優缺點及發展概況。

5G自主邊緣（5G Autonomous Edge）一詞意指在整體5G通訊系統中的邊緣環節（鄰近於5G基地台）加入智慧機能，加速雲端Cloud、AI、5G三大領域技術的融合與演進，進而支援與實現新應用，本文將介紹5G自主邊緣可能的應用情境與對產業產生的影響。

今年4月，一台失控的工程車滑落軌道，造成死傷慘重的列車出軌事故。這起意外不禁讓人思考，有沒有辦法透過「科技」的力量及早預警，避免悲劇發生？本文將從AI影像辨識功能出發，剖析是否能夠利用現有的技術，製作出可以即時偵測、預警鐵道障礙物的辨識系統。

為了因應交通狀況的緊急性，Edge AI技術在智慧交通的發展中更顯重要。一起來看看目前有哪些將AI運用於交通領域的具體案例吧。

AMR 自主移動機器人能自行找出到達目的地的最佳途徑、輕易繞開障礙物、自動跨層運輸，高效安全地執行任務，如今ROS 2問世，將如何讓AMR更上層樓？

本文介紹Edge AI人臉辨識技術的發展，以及如何用於防疫應用，並進一步剖析分散式Edge AI系統建置的最佳化策略。

第六場OpenVINO DevCon線上講座以「運用OpenVINO技術釋放AI PC的創新威力」為題，由Intel專家帶領聽眾深入了解AI PC的優勢與應用實例，並邀請到慈濟大學醫學資訊學系副教授李盛安，分享他以OpenVINO搭配AI PC平台實現AI健身輔助教練的開發經驗。

為了讓開發者更充分了解如何在自己的AI PC上發揮Intel最新版本OpenVINO開發平台的效能以實現更多創新應用，MakerPRO與Intel共同舉辦了以「探索AI PC新時代，學習在邊緣裝置輕鬆運作LLM」為題的第四場OpenVINO DevCon線上講座。

2024年伊始，OpenVINO的最新版本2023.3 LTS正式發表，更進一步降低了生成式AI技術的門檻，為了讓廣大開發者對最新版OpenVINO的強化功能有更深入的了解，Intel與MakerPRO在2024年1月底共同舉辦了第三場OpenVINO DevCon線上講座…

英特爾舉辦的2023年首場DevCon系列線上講座，由重量級講者與近300位聽眾分享過去五年來OpenVINO團隊持續推動技術進展以及擁抱開源的理念，並介紹2023.0版本OpenVINO的技術亮點，及如何利用該工具套件加速部署當前最夯的生成式AI模型，實現高性能推論應用。

由MakerPRO攜手Intel舉辦的第18次「Edge AI社聚」，邀請到在2022年Intel DevCup競賽實作組獲得前三名的團隊，分享他們是如何成功開發出分別能解決珠寶業、養雞業，以及物業管理/保全業「痛點」，並協助業者降低成本、加速工作效率的商用邊緣人工智慧方案…

第二屆「Intel® DevCup」競賽圓滿落幕，除了實作組與概念組的得獎作品之外，還有多位佳作、人氣票選的作品，皆令人驚豔。

AI應用已從雲端走向邊緣裝置，如何聰明部署邊緣運算也成為關注焦點，為協助各領域加速跨越AI邊緣運算的部署門檻，本次論壇邀集專家們從應用實例切入分享，帶領來賓輕鬆跨越部署瓶頸。

人體骨幹偵測技術被廣泛使用在互動遊戲、入侵偵測、賣場行為分析、運動教學輔助、跌倒偵測、產線公共安全等各個領域，其重要地位不容小覷，本次Edge AI社聚邀請到三位專家，針對相關技術及應用實例進行分享。

為驅動國內AI創新而舉辦的「Intel® DevCup」競賽將邁入第二屆，除了豐厚的獎金，主辦方更加碼提供完善的學習資源，希望藉此吸引更多優秀人才參與這場競賽。

Intel® DevCup x OpenVINO™ Toolkit競賽不只「實作組」有許多優秀團隊，「概念組」的創意也同樣令人驚艷，本次社聚邀請到2021年競賽的「概念組」得獎團隊，和觀眾一起探討如何透過Edge AI創造更多的應用與解決方案。

2021 Intel® DevCup x OpenVINO™ Toolkit競賽有不少參賽者選擇以智慧交通為參賽主題，本次活動邀請到其中三組優秀的團隊，和觀眾共同探討如何透過AI與電腦視覺，為提升交通安全提供更多科技解決方案。

近年智慧醫療為大勢所趨，在2021年Intel® DevCup x OpenVINO™ Toolkit競賽中也有不少團隊瞄準此一方向。本次社聚邀請到其中幾組優秀的獲獎及入選團隊來介紹他們的作品，希望激盪出更多想法，一起為智慧醫療創造更多可能。

本次社聚邀請了擁有40多年專業經驗的陽明交大竹銘醫院唐高駿院長，以及掌握完善3D病理組織影像系統的捷絡生技技術長林宇捷為觀眾帶來豐富又精彩的分享。

Intel®DevCup x OpenVINO Toolkit 競賽高手雲集，實作組注重開發實作，二十組團隊進入決選，一起直擊獎落誰家！

AI人工智慧在科技演進過程中扮演至關重要角色，隨著近期「元宇 […]

智慧工廠運用大數據、物聯網、AI資料分析等技術，做到改善產品良率和高效的瑕疵品檢測。如何分析產品是否有瑕疵和優化AI模型來達到提升判斷的正確率就成了關鍵。

如何活用車聯網、雲端運算、大數據與AI人工智慧，做好車、路、人三者之間的資訊整合串連，讓交通運輸更安全順暢？

網路時代來臨，實體零售也要跟上潮流，導入AI結合大數據應用，打造智慧零售4.0。本次社聚邀請到兩位專家，帶領觀眾一起探討如何投過AI來提升銷售競爭力，實現零售商店智慧管理。

近年教育部致力推動打造「智慧校園」與「智慧教室」，希望讓AI成為老師們教育與創新的助力，本次Edge AI線上社聚便邀請到兩位專家來做分享。

當5G和AI這兩個最受矚目的明日之星結合後，將能迸發出什麼火花？本次Edge AI社聚邀請了兩位專家，和觀眾一起探討5G遇上AI後的無限可能。

高速、高智慧的視覺檢測技術，在產線現代化中扮演了舉足輕重的地位，本次Edge AI社聚邀請兩位專家，帶領觀眾從技術層面與實際案例等不同角度切入，探討機器視覺在製造業領域的應用與發展。

本次Edge AI社聚邀請到了智慧安防監控兩位專家，以自身的經驗與應用實例，向觀眾分享該如何訓練、優化AI安防監控，並應用在各種場域之中。

智慧零售導入Edge AI和影像分析技術，可透過數據分析掌握消費者喜好、判斷人潮熱點，甚至能辨識口罩以幫助防疫。

如何運用科技整合資訊，讓人們每一次移動都能更加便捷安全，是智慧交通的重要目標。本次社聚邀請專家帶領觀眾，一窺如何應用Edge AI制訂、規劃出有效的智慧交通管理系統。

本次Edge AI社聚邀請兩位專家，以能自主決策的AMR自主移動機器人為主題，帶領觀眾了解並探討如何加速AMR的實務開發，滿足智慧工廠再進化的需求，並達成工業4.0的目標。

Edge AI為AI應用的起點與落地之處，也與軟硬體整合息息相關，Edge AI研究會特邀請影像辨識專家，分享有關Edge AI建置系統環境規劃評估。

本文將介紹利用AI科技，減輕醫療人員負擔及提高診斷準確度的「智慧醫療」應用實例。

2021年第一場Edge AI社聚，邀請到兩位人臉辨識的專家，針對人臉辨識技術和和防疫上的應用做了剖析分享。

OpenVINO™為Intel推出的人工智慧加速開發工具，經過五週的充電課教學、實作，11/17(日)的Demo Day和決賽日，14組競賽團隊進行專案Pitch，並選出前三名和五名佳作。

10月24日的《OpenVINO™ 邊緣運算技術論壇》，一共邀請到四位講師分享人工智慧發展多年後，做到了哪些更貼近需求的應用，而非如科幻電影般的想像。

由 Sertek 主辦、Intel 協辦的《OpenVINO 邊緣運算技術論壇》於 6/26（三）邀請四位講者分享 OpenVINO 工具包的技術特色及實際應用案例，帶領大家認識 OpenVINO，一同走進 AI 的視覺辨識殿堂。