|

【OpenVINO】專欄

關於這個專欄

Intel® Distribution of OpenVINO™ Toolkit 是一套功能完善的開發工具,能幫助開發者建置新的AI專案,將您用TensorFlow、PyTorch等AI框架訓練好的模型最佳化,得到高效率的推論結果,而且很容易移植運用。

本專欄提供OpenVINO相關之技術教學、應用、活動報導及影片等資源,歡迎讀者追蹤及留言討論。

以C++語言構建OpenVINO GenAI應用程式就是這麼簡單!

OpenVINO GenAI API提供了原生C++介面,免除對Python依賴項的需求,讓開發者能以更節省資源的方法打造AI應用。本文提供了使用Windows作業系統為範例,逐步構建OpenVINO GenAI 應用程式的指南。

【開箱評測】探索未來:結合迷你PC與生成式AI的個人多媒體助理

以mini PC作為多媒體AI個人助理的應用,展現了AI技術日益貼近日常生活的趨勢,未來這類設備將在提升個人生活品質和工作效率方面扮演越來越重要的角色,而本文將分析NUC BOX-155H這台mini PC在多媒體處理上的效能,並且分享一個未來十分看好、能成為個人多媒體助理的AI模型:Stable Diffusion及其多個版本的發展與應用選擇。

輕薄型筆電OK!利用OpenVINO部署Phi-3.5「全家餐」

近期微軟發佈了最新的Phi-3.5系列SLM模型,是非常適合在AI PC上運作的模型任務。本文將分享如何利用OpenVINO在你的AI PC上部署最新Phi-3.5-mini及Phi-3.5-vision模型。

LLM性能再強化 OpenVINO 2024.3隆重發佈!

OpenVINO 2024.3版本現在已經正式推出!這次更新帶來了新的功能,並對現有功能進行了強化,特別是大型語言模型(LLM)的性能;本文將介紹此新版本的關鍵進展。

OpenVINO全新GenAI API:幾行程式碼就能快速建立GenAI App!

全新的OpenVINO GenAI API為開發者提供了更簡單與清晰的程式碼;這意味著除了提供電腦視覺、AI加速與最佳化程式庫,OpenVINO現在也是開發者實現GenAI應用的助力。

OpenVINO 2024.2姿態模型效能評估:以OpenPose、YOLOv8與3D-Pose為例

本文主要於ASRock NUC BOX-155H平台進行,使用Intel Core Ultra運作的NUC (下一代計算單元)。我們將姿態辨識模型OpenPose、3D Pose、MoveNet 與 YOLOv8 模型轉換為OpenVINO IR模型格式,分別在CPU、iGPU及NPU上進行部署。觀察這些模型在CPU、iGPU及NPU的硬體效能差異,透過實際執行影片推論的過程,觀察NPU的性能表現。

【開箱實測】OpenVINO榨出單板極限,實作離線LLM AI助理!

在當前AI PC問世之際,相信不少人已知道OpenVINO可以加速離線大語言模型(LLM)的推論速度,本篇文章是要更進一步在資源更為受限的單板電腦上進行大語言模型的推論,甚至是實作一個離線大語言模型的AI助理出來!

以LLaVA-NeXT和NNCF先進量化技術掌握多模態AI

在這篇文章中,我們將探索LLaVA-NeXT多模態聊天機器人Notebook,學習如何轉換和最佳化LLaVA-NeXT模型來打造多模態聊天機器人。此外,我們將探討如何在LLM部分應用有狀態轉換(stateful transformation)和使用NNCF進行權重壓縮和量化等模型最佳化技術。

釋放多模態AI的力量:利用Pix2Struct和Optimum Intel

多模態可以同時處理視覺、聽覺和文字資料,以驚人的深度和精確度解釋其環境;在這篇文章中,我們將深入探討多模態AI的能力,並探索Intel的OpenVINO工具套件如何最佳化這些複雜系統,以因應現實世界的應用。

LangChain框架已正式支援OpenVINO!

透過LangChain,開發者可以輕鬆構建基於RAG或者Agent流水線的複雜應用體系,而目前我們已經可以在LangChain 的關鍵元件LLM、Text Embedding和Reranker中直接呼叫OpenVINO進行模型部署!

【活動報導】AI PC搭OpenVINO 在邊緣輕鬆部署LLM!

為了讓開發者更充分了解如何在自己的AI PC上發揮Intel最新版本OpenVINO開發平台的效能以實現更多創新應用,MakerPRO與Intel共同舉辦了以「探索AI PC新時代,學習在邊緣裝置輕鬆運作LLM」為題的第四場OpenVINO DevCon線上講座。

輕鬆使用OpenVINO在本地裝置離線運作Llama3

利用OpenVINO部署Llama3到本地運算資源,例如AI PC,不僅意味著更快的回應速度和更低的運作成本,還能有效地保護資料安全,防止敏感資訊外洩。這對於需要處理高度敏感性資料的應用場景尤其重要,如醫療、金融和個人助理等領域。本文將介紹如何使用OpenVINO對Llama3模型進行最佳化和推論加速,並將其部署在本地裝置上,進行更快、更智慧的AI推論。

用OpenVINO C# API部署YOLOv9目標檢測和實例分割模型

YOLOv9模型是YOLO系列即時目標檢測演算法中的最新版本,代表著該系列在準確性、速度和效率方面的又一次重大飛躍。在本文中,我們將結合OpenVINO C# API使用最新發佈的OpenVINO 2024.0部署YOLOv9目標檢測和實例分割模型。

OpenVINO 2024.0:為開發者提供更高性能、更強大支援  

OpenVINO 2024.0來了!我們很高興在這個版本推出一系列強化功能,目標是在快速發展的AI領域賦予開發者更強大的能力;新版本透過動態量化、改善的GPU最佳化以及對混合專家(MoE)模型架構的支援,增強了大語言模型(LLM)的性能。OpenVINO 2024.0讓開發者能有效利用AI加速,這也要感謝來自社群的持續貢獻。

用OpenVINO與NNCF最佳化Whisper語音辨識模型

本文示範如何以OpenVINO與Optimum Intel載入並執行Whisper與Distil-Whisper模型進行音訊轉錄任務,以及如何使用NNCF對這些模型執行INT8訓練後量化;接著在橫跨多種CPU的裝置上以大規模語音轉文字資料集評估這些模型。

如何在Google Colab上運行OpenVINO Open Model Zoo範例

本篇文章會以OMZ 影像分類(Classification) Public Pre-Trained Models為例,說明如何在Colab 上直接運行Intel Open Model Zoo。

如何在Windows平台呼叫NPU部署深度學習模型

在最新一代的Intel Core Ultra行動終端處理器中已經整合了簡稱為NPU的神經網路加速處理器,以提供低功耗的AI算力,而OpenVINO工具套件也在第一時間對NPU進行了配接。本文將帶領讀者一起看看如何在Intel Core Ultra處理器上搭建基礎環境,並呼叫NPU進行模型推論任務。

新年首發 OpenVINO 2023.3 LTS版本隆重登場!

是時候在生成式人工智慧(AI)領域大放異彩地開啟2024年了,最新的OpenVINO推論工具2023.3 LTS版本隆重登場,導入了額外的框架改變,最佳化了生成式AI模型的特性,並強化了對現有平台的支援,將使您在新的一年中的程式編寫之旅變得異常精彩!本文將帶您了解新版本OpenVINO的一些重要更新。

【活動報導】OpenVINO讓生成式AI隨手可及

2024年伊始,OpenVINO的最新版本2023.3 LTS正式發表,更進一步降低了生成式AI技術的門檻,為了讓廣大開發者對最新版OpenVINO的強化功能有更深入的了解,Intel與MakerPRO在2024年1月底共同舉辦了第三場OpenVINO DevCon線上講座…

用OpenVINO和LangChain打造你專屬的RAG問答系統

隨著生成式AI的興起,和大語言模型對話聊天的應用變得非常熱門,但這類應用往往只能簡單地和你「聊聊家常」,並不能針對某些特定產業提供非常專業和精準的答案。那有沒有辦法讓你的模型學習到新的知識呢?當然有!在沒有足夠GPU運算資源對模型進行重新訓練的情況下,RAG方式對普通使用者來說更友善。本文就要來探討如何利用OpenVINO以及LangChain工具構建屬於你的RAG問答系統。

輕鬆利用OpenVINO結合LangChain與Llama2打造智慧小助手

LLM大模型存在很多痛點,包括但不限於資料陳舊、無法和外部元件互動等,本文旨在使用 OpenVINO 2023.1新版本的特性加速Llama2模型,為Llama2客製化Prompt,並用LangChain 實現可連網取得最新消息的輔助搜尋功能

運用BF16與NHWC技術實現進階版LLM微調訓練最佳化

本文要來介紹如何利用BF16半精度浮點數以及將影像資料設為NHWC格式兩項技術,來最佳化大型AI模型的訓練速度與記憶體節省,並延續以微調模型訓練為範例,透過完整程式碼來示範如何發揮這兩項新技術的用法和魅力。

如何利用低位元量化技術進一步提升大模型推論性能

相比運算量的增加,大模型推論速度更容易受到記憶體頻寬的影響,導致算力資源無法得到充分發揮,進而影響性能;低位元量化技術是讓大語言模型(LLM)在部署過程中實現性能需求的最佳方案之一,本文將探討低位元量化技術如何幫助LLM提升性能,以及新版OpenVINO對於低位元量化技術的支援。

活用IPEX和Intel GPU加速大型語言模型訓練效率

以IPEX (Intel-Extension-for-PyTorch)搭配Intel硬體產品,可提供最佳化功能大幅提升運作效能。例如透過PyTorch的裝置來發揮Intel GPU的潛能,加速AI模型的訓練和推論。本篇文章將說明如何善用上述兩項產品來實現效能的大幅提升,仍然以微調訓練的範例來展現它們的特性,並說明其使用方法和流程。

Intel攜手生態系夥伴展示AI智慧醫療應用最新成果

英特爾(Intel)攜手24家合作夥伴於年度台灣醫療科技展(Healthcare+ EXPO 2023)共同展示基於最新AI技術的實際應用案例,並將與近300位來自東南亞、東北亞、歐洲、中東、美州的國際代表團專家互相交流分享,以及安排超過80場的商業媒合會議,促進台灣與國際合作機會,持續擴大智慧醫療推廣與應用。

利用Intel平台提升LLM微調與訓練效率:ResNet50+LoRA範例

本文將說明如何善用英特爾(Intel)所研發的新產品和相關技術,來提升AI模型的訓練效率,以便提供更優質的推論功能。為了循序漸進介紹上述的新產品及其相關的使用技術,本文先從大家熟悉ResNet50圖像分類模型做為起步範例,並搭配LoRA來進行外掛訓練,以便從這簡單範例中充分理解如何活用上述的創新產品及相關技術。

OpenVINO 2023.2版本發佈:讓生成式AI在實際場景中更易用

OpenVINO發佈最新2023.2版本了!與之前的版本一樣,在提高性能、增加對新AI模型的支援,以及構建基礎設施和模型快取等不同元件方面都有重大改進,除了並導入在CPU和整合顯卡上運作權重量化為int8和int4精度的LLM的能力,也更新了模型轉換和最佳化工具;OpenVINO產品架構師Yury Gorbachev將在本文詳細介紹新版本的優勢。

一步到位:利用OpenVINO實現LCM高速影像生成

最近橫空出世的潛在一致性模型(LCM)讓文生圖模型的圖片急速生成變成可能。LCM可以在任何預訓練的潛在擴散模型上進行快速推斷、步驟最少,包括穩定擴散模型(Stable Diffusion)。用OpenVINO也能對充滿魔力的LCM文生圖模型進行完全的最佳化、壓縮以及推理加速、快速部署的支援!

AI視覺「看見」美好未來 廠商分享成功落地經驗 

在日前一場由處理器大廠英特爾(Intel)代理商夥伴──電子零組件通路業者建智(Sertek)主辦的「Visual to AIGC智慧應用落地部署實務論壇」技術研討會,邀請到來自不同領域的專業廠商分享在部署邊緣AI視覺應用的成功案例。

不只保障安全 AI讓監控攝影機成為商業智慧利器

在「全方位智能防護」技術交流會上,Intel、Sertek,以及專長智慧影像分析、誕生於台灣的業者SkyREC,分享了一套結合AI的監控攝影r機系統解決方案AiMS,除了強調容易部署、可滿足各種大小規模專案需求以及高運作效率等優勢,該方案還具備能將影像分析數據結構化的獨特功能,能讓使用者從清晰圖表報告中迅速掌握商店客流量等趨勢,作為規劃商業策略的依據。

OpenVINO 2023.1版本問世: 在邊緣端賦能生成式AI

OpenVINO  2023.1版本希望將生成式 AI 的強大功能導入常規桌上型電腦和筆記型電腦,讓這些模型可以在資源受限的本地環境中運作`在整個產品中針對這些場景進行了最佳化,實現了一些關鍵功能,並為我們的下一步工作計畫奠定了基礎。也就是說,我們的變化不僅限於生成式AI,我們還改進了產品的其他部分。以下讓我們來看看這些變化到底是什麼。

以AI進行無人機巡檢河川地貌分析

由於工業科技快速發展,環境議題一直備受討論與重視;近幾年,由於邊緣運算、AI、硬體加速與無人機等技術趨於成熟,公民營機構--尤以公部門為首--開始思考是否能借助科技的力量來進行環境工程,本文即以AI物件分割技術作為技術基礎,配合台中市環保局河川揚塵防治計畫進行河床地貌影像分割。

【活動報導】OpenVINO讓AI模型量化成為簡單任務

延續第一場講座的精彩內容,在9月初舉辦的DevCon系列講座第二場,同樣來自Intel的OpenVINO AI 軟體傳教士武卓博士、AI軟體工程師楊亦誠,先帶領聽眾認識深度學習量化技術,再示範以OpenVINO實作智慧排隊系統Smart Queue。

在Ubuntu 22.04快速安裝英特爾顯卡驅動程式玩轉AIGC

本文將介紹如何使用EIV (Edge Insights for Vision) 軟體套件 ,以5行指令快速搭建內含英特爾(Intel)顯卡及OpenVINO的AI開發環境,並簡單說明如何使用OpenVINO及英特爾顯卡最佳化文生圖模型Stable Diffusion的速度。

利用OpenVINO以BLIP實現視覺語言邊緣AI部署

隨著電腦視覺和自然語言處理領域的快速發展,視覺與語言的融合越來越受到研究人員的重視。在這個背景下,BLIP引起了廣泛關注--該模型在大規模的影像文字資料集上預訓練深度神經網路模型,以提高下游視覺語言任務的性能,如影像文字檢索、影像描述和視覺問答。本文作者將帶領讀者一步步了解如何在研揚科技(AAEON)的新產品UP Squared Pro 7000 Edg上,利用OpenVINO來最佳化BLIP的推論加速。

【CIRCUS Pi】UP Squared Pro 7000 運行 OpenVINO Notebooks之AI效能評測

本文開箱測試研揚(AAEON)今年 2023 最新推出第三世代的 UP Squared PRO 7000,運行 OpenVINO Notebooks 測試 AI 運算的效能。

用Llama 2和OpenVINO打造聊天機器人

Meta終於推出了免費商用版本Llama 2,藉著這個機會,我們來分享一下如何用Llama 2和OpenVINO工具套件來打造一款聊天機器人。

免「仲介」 OpenVINO能直接支援PyTorch模型物件!

隨著OpenVINO 2023.0版本的發佈,OpenVINO工具庫中預置了全新的PyTorch前端,為開發者們提供了一條全新的PyTorch模型支援路徑,帶來更友好的用戶體驗—— OpenVINO的mo工具可以直接將PyTorch模型物件轉化為OpenVINO的模型物件,開發者可以不需要將ONNX模型作為中間過渡。

【CIRCUS Pi】AI 教學——實測 UP Squared Pro 7000 Edge 製作 AI 專案

習慣以筆電或桌機運行 Windows 的使用者在製作 AI 邊緣運算專案時,選擇同樣安裝Intel CPU的單板電腦能大幅度降低熟悉新系統的時間,而OpenVINO 2022.1出現更降低了Intel 執行 AI 推論的部屬與操作時間,本文將使用研揚的 UP Squared Pro 7000 Edge進行實測與教學。

【活動報導】聚焦新版OpenVINO Intel全球技術專家分享最新AI開發趨勢

英特爾舉辦的2023年首場DevCon系列線上講座,由重量級講者與近300位聽眾分享過去五年來OpenVINO團隊持續推動技術進展以及擁抱開源的理念,並介紹2023.0版本OpenVINO的技術亮點,及如何利用該工具套件加速部署當前最夯的生成式AI模型,實現高性能推論應用。

迎接AI時代 用最AI的方式學習AI

在多年前將Arduino開發板導入台灣市場、引領Maker年代的PlayRobot,以Intel所開發的開放性深度學習推論應用工具套件OpenVINO做為媒介,設計結合動手實作與理論的教學課程,期望能讓完全不懂AI的新手、或是跨領域的學習者,都能輕鬆進入AI世界。

【開箱評測】OpenVINO讓你不上網也能和Dolly聊聊天

以往在AI模型部署優化及推論部份,通常都會想到使用 Intel OpenVINO,不過大家多半只注意到它在「電腦視覺」相關的應用,殊不知自從2022.1版後就已開始加入許多「自然語言」的範例。而最近2023.0版又更加強GPU處理記憶體動態外形(Dynamic Shape)的能力,使得如生成型預訓練變換模型(GPT)這類基於轉換器(Transfomer)技術的大型語言模型能得到更好的實現。

利用OpenVINO部署HuggingFace預訓練模型的方法與技巧

透過HuggingFace開源的Transformers、Diffusers程式庫,只需要要調用少量介面函數,入門開發者也可以非常便捷地微調和部署自己的大模型任務,你甚至不需要知道什麼是GPT、BERT就可以用它們的模型,開發者不需要從頭開始構建模型任務,大幅簡化了工作流程。

最新版OpenVINO 2023.0問世:更輕鬆部署、加速AI應用!

OpenVINO 五週年紀念日即將來臨的此刻,我們很興奮地宣佈OpenVINO最新版本──OpenVINO 2023.0問世!新版本的重點是透過最大限度減少離線轉換、擴大模型支援和推進硬體最佳化來改善開發者之旅,以下讓我們對一些新功能進行深入研究…

不用買顯卡 OpenVINO 也能玩 Stable Diffusion V2!

近期掀起的一陣AIGC浪潮讓ChatGPT大型語言模型、Midjourney與DALL-E等圖像生成模型備受關注,其中又以Stable Diffusion最受到社群熱烈討論,主要原因就是可以自行佈署與修改模型,可玩性與彈性相當大!本篇就要來介紹如何使用OpenVINO Notebooks來玩Stable Diffusion V2!

【CAVEDU講堂】建立 ChatGPT LINE 交談式AI – 放在 RK-OpenVINO AIBox 上更方便、更酷!

近期最火熱的科技話題,非ChatGPT莫屬,本文將說明如何在 RK-OpenVINO™ AI BOX 上建立一個 LINE 對話機器人,並串接 OpenAI API 來做到更好的對話體驗。

用OpenVINO C++ API編寫YOLOv8-Seg實例分割模型推論程式

本文章將介紹使用OpenVINO C++ API開發YOLOv8-Seg實例分割(Instance Segmentation)模型的AI推論程式。

在Windows平台以Visual Studio為基礎配置OpenVINO C++開發環境

本文主要介紹如何在Windows平台以Visual Studio為基礎配置OpenVINO C++開發環境,作者將帶領大家一步步從零開始,並提供完整的測試程式碼。

AI分割一切:用OpenVINO加速Meta SAM大模型

最近在電腦視覺領域就出現了專屬的物體分割大模型,由Meta開源的「萬物可分割」(SAM)物體分割模型。這個強大的通用分割模型,當然也能用OpenVINO進行最佳化以及推論的加速,使其能方便快速地在Intel的CPU上部署執行。來跟著我們提供的程式碼與步驟一起來動手試試吧!

【開箱評測】巴掌大的迷你主機也能跑出高效AI推論表現!

為了更進一步了解這類迷你主機在AI推論效能的表現,此次選用東擎(ASRock Industrial) NUC BOX-1260P作為測試機,AI推論部份則選用OpenVINO 2022.3版作為基礎工具。而測試項目則使用OpenVINO Notebooks中最新的物件偵測「Convert and Optimize YOLOv8 with OpenVINO」範例作為實測效能的分析。

以創意+技術實力開拓AI新商機 Intel DevCup得獎團隊分享致勝秘訣

由MakerPRO攜手Intel舉辦的第18次「Edge AI社聚」,邀請到在2022年Intel DevCup競賽實作組獲得前三名的團隊,分享他們是如何成功開發出分別能解決珠寶業、養雞業,以及物業管理/保全業「痛點」,並協助業者降低成本、加速工作效率的商用邊緣人工智慧方案…

如何以OpenVINO在Intel GPU上執行Stable Diffusion

你知道我們也可以執行最夯的Stable Diffusion圖片生成模型,並且將該模型轉換為OpenVINO的IR格式,讓它在CPU與GPU上高效率執行嗎?

【OpenVINO開發案例】GAIS鑽石分級檢測機

傳統鑽⽯品質檢測需要⼈⼯進⾏⽬視檢測和評估,具有侷限性和不可量化的問題,利⽤AI技術進⾏⾃動化鑽⽯品質檢測,不但具有⾼效率及⾼準確性的優勢,也可以實現品質量化。

如何用OpenVINO讓YOLOv8獲得1000+FPS性能?

YOLO又推出了最新的YOLOv8模型,其模型架構創新以及性能提升,使其剛問世就獲得廣大開發者的關注。如果說利用OpenVINO的量化和加速,利用英特爾CPU、整合式顯卡以及獨立顯卡與同一程式碼庫無縫協作,可以獲得1000+ FPS的性能,你相信嗎?我們將一步步教你在利用OpenVINO在英特爾處理器上實現這樣的性能。

【OpenVINO開發案例】深度 3D 人體重建 應用於助聽器選配

本作品使用 OpenVINO 進行人體建模(3D),並將其應用於助聽器選配,解決助聽器調整人、事、時、地、物之限制,更展現了數位醫療替身之前瞻運用。

讓攝影機讀懂人體行為 – Beseye人體骨幹分析技術

透過AI加值,讓攝影機不再單純只是錄影。Beseye 的AI影像分析平台,偵測到跌倒、異常入侵等意外時,會主動發送通報給相關人員,將傷害降至最低。

【活動報導】玩轉AI、成就極致,Intel DevCup競賽12/20圓滿落幕

第二屆「Intel® DevCup」競賽圓滿落幕,除了實作組與概念組的得獎作品之外,還有多位佳作、人氣票選的作品,皆令人驚豔。

【活動報導】Edge AI聰明部署關鍵論壇 輕鬆跨越應用瓶頸

AI應用已從雲端走向邊緣裝置,如何聰明部署邊緣運算也成為關注焦點,為協助各領域加速跨越AI邊緣運算的部署門檻,本次論壇邀集專家們從應用實例切入分享,帶領來賓輕鬆跨越部署瓶頸。

【OpenVINO瑕疵檢測功能】Anomalib 介紹與實作教學

本文將依序介紹OpenVINO toolkit不久前針對工業瑕疵檢測推出的Anomaly Lib函式庫架構,挑選數個知名異常檢測模型進行原理、特色說明,並逐步進行操作說明。

實作 OpenVINO 加速 YOLOv7 推論

YOLOv7 使用了 pyTorch 框架實作 YOLO 架構,並且導出模型,這在使用上無疑更具彈性與方便性。本篇文章將運用 OpenVINO 來對 YOLOv7 模型進行轉換,提高其在邊緣裝置上的 AI 推論效能!

讓你也能成為智能影音分析大師 – Intel OpenVINO DL Streamer

Intel OpenVINO Toolkit 2022.1版在今年作出不少重大變革,本文將帶大家認識DL Streamer架構及安裝技巧,以及分析DL Streamer的表現,帶領大家深入了解OpenVINO這項好用的工具。

如何在Windows安裝Linux(WSL2+Ubuntu)及Docker來執行OpenVINO和DL Streamer

隨著Win11上市,WSL2也迎來較大幅度的更新,本文將帶著大家從零開始一步一步架設Linux開發環境並且安裝安裝Intel OpenVINO、Docker和DL Streamer進行練習。

【評測文】工業AIOT邊緣運算電腦與OpenVINO 的結合實測

OpenVINO工具套件讓電腦視覺AI應用開發人員能跨多個硬體平台加速AI模型的效率,本文是針對OpenVINO在工業電腦上運作的效率進行驗證而做出的評測報告。

就用OpenVINO 來推論Teachable Machine模型吧!(2022.1 版)

Intel OpenVINO 在今年迎來最大幅度的版本更新,除更便利開發者進行操作外,也對 API 進行優化,那麼該如何利用這個最新版本的OpenVINO 推論 Teachable Machine 模型呢?一起來了解看看吧!

有了OpenVINO 2022 PrePostProcessor APIs,影像推論就更有效率了!

OpenVINO 2022.1版本中,透過PrePostProcessor (PPP) APIs使得推論效能有明顯的改善,當使用iGPU來推論時,其效能更大幅超越CPU和神經運算棒(NCS2, Myriad X)。PPP的特色及優勢為何?且看本文介紹。

【活動報導】人體骨幹偵測技術與創新應用

人體骨幹偵測技術被廣泛使用在互動遊戲、入侵偵測、賣場行為分析、運動教學輔助、跌倒偵測、產線公共安全等各個領域,其重要地位不容小覷,本次Edge AI社聚邀請到三位專家,針對相關技術及應用實例進行分享。

【活動報導】玩轉AI 成就極致 — 2022 Intel DevCup競賽說明會

為驅動國內AI創新而舉辦的「Intel® DevCup」競賽將邁入第二屆,除了豐厚的獎金,主辦方更加碼提供完善的學習資源,希望藉此吸引更多優秀人才參與這場競賽。

OpenVINO 2022大改版 讓Edge AI玩出新花樣

Intel開發的電腦視覺與深度學習應用的開發套件OpenVINO自2018年問世以來,造福了不少AI應用的開發者,而今年發布的2022.1版是這三年半來最大幅度的更新,本文將簡單盤點此次更新的幾大要點。

「2022 Intel® DevCup」競賽再度重磅登場!號召Edge AI人才同台競技

「2022 Intel® DevCup」競賽提供各界高手與新手一個展現身手的舞台,運用OpenVINO實現AI創新專案,也讓更多有意義的AI應用在台灣落地!

【活動報導】跨領域也能玩AI!競賽概念組發掘多元應用

Intel® DevCup x OpenVINO™ Toolkit競賽不只「實作組」有許多優秀團隊,「概念組」的創意也同樣令人驚艷,本次社聚邀請到2021年競賽的「概念組」得獎團隊,和觀眾一起探討如何透過Edge AI創造更多的應用與解決方案。

邊緣AI的最佳學習路徑 – OpenVINO Notebooks

不會訓練AI模型,是否一定要從頭開始苦學神經網路,才能開發AI?現在有了事半功倍的方法 – OpenVINO Notebooks,本文將介紹如何運用這項工具進行系統化學習,無痛打開AI落地的應用大門。

【活動報導】AI上路!智慧交通守護出行安全

2021 Intel® DevCup x OpenVINO™ Toolkit競賽有不少參賽者選擇以智慧交通為參賽主題,本次活動邀請到其中三組優秀的團隊,和觀眾共同探討如何透過AI與電腦視覺,為提升交通安全提供更多科技解決方案。

【OpenVINO開發案例】降低消防救災風險! 閃燃預警通知

閃燃是一種可怕的火場現象,此現象號稱是消防員的天敵,最容易在一瞬間令消防員致命。本專案希望協助消防員及時判斷出閃燃前的徵兆並加以應變,以挽救不必要的傷亡。

【OpenVINO開發案例】AI疾病預測系統 以酒癮為例

AI疾病預測系統的開發與應用,可協助診斷,提供遠距或診間醫療衛生服務。本開發案以酒癮為例,開發並應用AI模型,依據疾病史來預測是否罹患酒癮。

【活動報導】AI輔助診斷系統 精準找出潛藏疾病

近年智慧醫療為大勢所趨,在2021年Intel® DevCup x OpenVINO™ Toolkit競賽中也有不少團隊瞄準此一方向。本次社聚邀請到其中幾組優秀的獲獎及入選團隊來介紹他們的作品,希望激盪出更多想法,一起為智慧醫療創造更多可能。

【OpenVINO開發案例】機台不停機自動巡檢系統

看見機台從資料的收集、AI技術的應用與快速佈署,站在使用者角度全方位的考量,以專案目標選擇適用的感測器與方法,建立友善的介面供使用者快速落地佈建,和高性價比的硬體投資。

【OpenVINO開發案例】骨質疏鬆人工智慧輔助篩檢系統

骨質疏鬆是全世界第二大流行病,本文將介紹如何使用一般X光機或行動X光車拍攝出符合WHO醫學指引的髖部醫學影像,並運用AI輔助分析,於6秒鐘內產出骨質疏鬆風險報告。

【OpenVINO開發案例】電腦視覺即時偵測路況、分析交通圖資

透過電腦視覺系統(Computer Vision),可以讓電腦自動學習推論並給出更具效率的判斷與決策,藉由固定路線且即時的公車裝載電腦視覺系統,利用 Object Detection Model 即時偵測路況。

【Maker Project】用AI開發溺水辨識救援系統

廣大的開放型水域或戲水場所,救生人員不一定可以即時發現溺水求救的民眾,而錯失救援機會,甚至發生悲劇,此專案希望透過影像偵測即時救援溺水的人。

【Maker Project】為文學加上彩妝的圖文匹配機

純文字的時代漸漸過去,拍出漂亮照片則是人人都已擁有的能力(因為手機越來越強大),那麼將這兩個概念結合起來如何?來看看這具有創意的專案吧!

【Maker Project】從零開始的二手書文字辨識

本專案嘗試開發出一台AI邊緣裝置,在進書時能幫書店老闆自動辨識此書的封面文字,並上傳雲端;當顧客上門,只需上雲端查詢即可找到想要的書。

【 讓生活更友善】用AI輔助視障者的創意專案

社會中,不乏有許多視障者需要生活機能上的協助,透過這些工具能夠帶給他們更好的體驗,並且實質幫助到他們的食衣住行,視障朋友不論是外出或是生活起居上皆有可能會遇到困難,請跟著我們一起了解這些作品吧!

【活動報導】 實現精準病理診斷 打造AI智慧醫院

本次社聚邀請了擁有40多年專業經驗的陽明交大竹銘醫院唐高駿院長,以及掌握完善3D病理組織影像系統的捷絡生技技術長林宇捷為觀眾帶來豐富又精彩的分享。

2021 Intel DevCup x OpenVINO Toolkit 競賽作品亮點剖析

Intel®DevCup x OpenVINO Toolkit 競賽高手雲集,實作組注重開發實作,二十組團隊進入決選,一起直擊獎落誰家!

首屆Intel DevCup x OpenVINO Toolkit 圓滿落幕,實作組功力強、概念組創意佳!

AI人工智慧在科技演進過程中扮演至關重要角色,隨著近期「元宇 […]

不須轉換!OpenVINO整合TensorFlow框架實現推論加速!

Intel在2021下半年推出的OpenVINO™ integration with TensorFlow能夠實現在TensorFlow中介接OpenVINO執行推論加速,本篇將帶大家實際操作,了解如何在不用改code的情況下,直接在TensorFlow推論並完成OpenVINO加速。

【活動報導】機器視覺AI化,智慧工廠快狠準!

智慧工廠運用大數據、物聯網、AI資料分析等技術,做到改善產品良率和高效的瑕疵品檢測。如何分析產品是否有瑕疵和優化AI模型來達到提升判斷的正確率就成了關鍵。

當OpenCV遇上OpenVINO:如何使用IR model進行推論?

本文將探討是否可以直接用OpenCV進行影像處理、辨識,並在瀏覽器上應用Intel的OpenVINO的Inference Engine套件,並以IR model檔案去進行AI推論。

運用開源AI CV工具,提升製造品管效益

近年來興起的AI補強了傳統機器視覺的不足,逐漸成為製造業品管的新寵技術。本文將介紹如何運用開源AI 工具提升製造品管效益,並剖析此技術的優缺點及發展概況。

【活動報導】如何用AI科技提升交通安全?

如何活用車聯網、雲端運算、大數據與AI人工智慧,做好車、路、人三者之間的資訊整合串連,讓交通運輸更安全順暢?

就用Open Model Zoo來豐富你的OpenVINO應用

OpenVINO Toolkit子專案Open Model Zoo提供超過300個以上立即可用的預訓練AI模型,涵蓋超過50種不同類型的範例程式原始碼,讓想要嘗試進入AI領域的人更容易上手,本文章將帶領讀者一起探索這個資源豐富的寶庫。

【活動報導】AI智慧零售 提升銷售競爭力

網路時代來臨,實體零售也要跟上潮流,導入AI結合大數據應用,打造智慧零售4.0。本次社聚邀請到兩位專家,帶領觀眾一起探討如何投過AI來提升銷售競爭力,實現零售商店智慧管理。

【AI創意無法擋】OpenVNIO創意應用案例探討(下)

Intel在Hackster.io上發起一次AI挑戰賽,比賽包含三個獎項,本文將針對早鳥提交獎及開發者票選獎提出5個作品來進行介紹。

【AI創意無法擋】OpenVNIO創意應用案例探討(上)

Intel在Hackster.io上發起一次AI挑戰賽,比賽包含三個獎項,本文將針對由專業評審選出的Grand Prize優勝作品進行觀察。

OpenVINO模型最佳化實測:PC/NB當AI辨識引擎沒問題!

本文針對OpenVINO進行模型最佳化轉換的效能實測,證明Intel-based PC及NB也能拿來當AI辨識引擎沒問題。

【看見未來】「5G自主邊緣」的技術融合新境界

5G自主邊緣(5G Autonomous Edge)一詞意指在整體5G通訊系統中的邊緣環節(鄰近於5G基地台)加入智慧機能,加速雲端Cloud、AI、5G三大領域技術的融合與演進,進而支援與實現新應用,本文將介紹5G自主邊緣可能的應用情境與對產業產生的影響。

OpenVINO雲端也能GO!四個步驟輕鬆在DevCloud實作AI推論

Intel DevCloud是一個免費的AI雲端開發平台,開發者們可運用這些資源來學習並應用AI,本篇文章將使用DevCloud for the Edge,在簡單的四個步驟之中,完成一個Object Detection物件偵測的DEMO操作。

【活動報導】AI翻轉教室,提升教學成效!

近年教育部致力推動打造「智慧校園」與「智慧教室」,希望讓AI成為老師們教育與創新的助力,本次Edge AI線上社聚便邀請到兩位專家來做分享。

優化OpenVINO模型效能:參數設定影響實測

本文透過object_detecion_demo運作觀察,參數設定過程如何影響模型在同一台機器上推論效率的變化,接下來的內容為觀察到的現象,可以作為日後模型推論在配置時參數設定的一些參考。

鐵道障礙物入侵!AI如何即時辨識與預警?

今年4月,一台失控的工程車滑落軌道,造成死傷慘重的列車出軌事故。這起意外不禁讓人思考,有沒有辦法透過「科技」的力量及早預警,避免悲劇發生?本文將從AI影像辨識功能出發,剖析是否能夠利用現有的技術,製作出可以即時偵測、預警鐵道障礙物的辨識系統。

【活動報導】5G x Edge AI 創新智慧應用服務

當5G和AI這兩個最受矚目的明日之星結合後,將能迸發出什麼火花?本次Edge AI社聚邀請了兩位專家,和觀眾一起探討5G遇上AI後的無限可能。

【OpenVINO專欄】用DL Workbench輕鬆完成AI模型的分析與部署工作

本文將介紹如何應用OpenVINO的DL Workbench選用現有或是自製的模型,透過GUI介面,輕鬆完成模型的分析與部署工作。

OpenVINO結合Teachable Machine蹦出新滋味

本文將介紹如何結合Teachable Machine與OpenVINO兩個簡單好上手的AI工具,幫助使用者在短時間內完成簡單的邊緣運算模型訓練,同時也更快速的綜觀全局並找到解決問題的方向。

【活動報導】AI助攻!機器視覺應用再升級

高速、高智慧的視覺檢測技術,在產線現代化中扮演了舉足輕重的地位,本次Edge AI社聚邀請兩位專家,帶領觀眾從技術層面與實際案例等不同角度切入,探討機器視覺在製造業領域的應用與發展。

【先試再上】Intel DevCloud助你雲端驗證AI佈署,免費!

Intel 推出的免費雲端開發平台「DevCloud」,不僅提供OpenVINO讓使用者進行AI推論程式開發及測試,更協助評估佈署後效能,讓使用者可以更精準地採購所需設備。本篇文章將帶領讀者深入了解這項免費工具。

善用Edge AI達成智慧交通關鍵任務

為了因應交通狀況的緊急性,Edge AI技術在智慧交通的發展中更顯重要。一起來看看目前有哪些將AI運用於交通領域的具體案例吧。

【OpenVINO實測】ROS系統YOLOv3效能初體驗

本文將介紹ROS解決方案及OpenVINO架構,並且評測YOLOv3在Edge AI上的應用及效能。

【活動報導】打造高效、精準的AI安防監控

本次Edge AI社聚邀請到了智慧安防監控兩位專家,以自身的經驗與應用實例,向觀眾分享該如何訓練、優化AI安防監控,並應用在各種場域之中。

【活動報導】智慧零售:善用AI 掌握商機

智慧零售導入Edge AI和影像分析技術,可透過數據分析掌握消費者喜好、判斷人潮熱點,甚至能辨識口罩以幫助防疫。

【AI進教室】透過電腦視覺掌握教室學習狀態

即時掌握學生的學習狀態,對教師維繫教學品質來說非常重要。本文將探討能否透過人工智慧與資訊技術的結合,進一步瞭解學生學習過程中的學習狀況與學習態度的資訊,解決學生人數較多時難以由教師親自察看的處境。

【活動報導】智慧交通再升級 Edge AI輔助路況辨識

如何運用科技整合資訊,讓人們每一次移動都能更加便捷安全,是智慧交通的重要目標。本次社聚邀請專家帶領觀眾,一窺如何應用Edge AI制訂、規劃出有效的智慧交通管理系統。

ROS 2加持!AMR 如何助智慧工廠再升級?

AMR 自主移動機器人能自行找出到達目的地的最佳途徑、輕易繞開障礙物、自動跨層運輸,高效安全地執行任務,如今ROS 2問世,將如何讓AMR更上層樓?

【Edge AI】人臉辨識系統建置策略剖析

本文介紹Edge AI人臉辨識技術的發展,以及如何用於防疫應用,並進一步剖析分散式Edge AI系統建置的最佳化策略。

【Edge AI】 智慧工廠再進化:從AGV到AMR

本次Edge AI社聚邀請兩位專家,以能自主決策的AMR自主移動機器人為主題,帶領觀眾了解並探討如何加速AMR的實務開發,滿足智慧工廠再進化的需求,並達成工業4.0的目標。

影像採集結合深度學習,打破Edge AI的影像效能瓶頸

本文將介紹聰泰科技如何結合自身在專業影像領域的經驗及AI團隊,搭配OpenVINO平台推出影像AI解決方案,幫助工程師們能輕鬆將傳統的監控應用升級到AI級的影像應用。

小孩才作選擇,AI推論速度及準確度我全都要 ─ OpenVINO Post-Training Optimization Tool簡介

身為人工智慧(AI)從業人員,如何兼顧模型的速度和準確度是一大挑戰。利用INTEL OpenVINO推出的「Post-Training Optimization Tool (POT)」能有效解決,一起來了解如何使用吧。

【Edge AI】影像辨識 Edge AI建置系統評估

Edge AI為AI應用的起點與落地之處,也與軟硬體整合息息相關,Edge AI研究會特邀請影像辨識專家,分享有關Edge AI建置系統環境規劃評估。

【Edge AI】AI輔助診斷系統打造精準醫療

本文將介紹利用AI科技,減輕醫療人員負擔及提高診斷準確度的「智慧醫療」應用實例。

不用寫程式也能玩轉深度學習模型 ─ OpenVINO™ DL Workbench圖形化介面工具簡介

DL Workbench(Deep Learning Works Benchmark)一個方便的網頁式圖形化介面工具,讓非程式設計背景的社群夥伴都可以輕鬆使用,一起來看看其使用流程以及範例操作吧!

【Edge AI】為防疫設計的身分辨識技術

2021年第一場Edge AI社聚,邀請到兩位人臉辨識的專家,針對人臉辨識技術和和防疫上的應用做了剖析分享。

串流影片分析慢吞吞?看OpenVINO™ DL Streamer如何加速效率

當深度學習技術遇到視訊檔案或串流影片時,逐格(by Frame)影像分析就變得很沒效率,有辦法提升嗎?可試試用DL Streamer來加速喔。

如何利用Docker快速建置OpenVINO™ Toolkit開發環境

為解決安裝步驟系統無法運行,OpenVINO推出Docker安裝方式,輕鬆搞定安裝及執行問題,本篇簡單說明Docker是什麼?以及相關的工作環境以及範例說明。

【OpenVINO™教學】自製麵包影像辨識POS機的應用

最近麵包影像辨識結帳機很紅,且用Windows 10 PC來做做看如何套用現有模型Model來做物件偵測。

【OpenVINO™教學】土炮智能機器手臂之視覺系統

機器手臂早已成為自動化工廠中不可或缺的最佳幫手,本篇文章將會說明如何使用Intel OpenVINO™+RealSense™自製機器手臂之視覺系統。

【活動報導】OpenVINO™ x Edge AI創意應用競賽圓滿落幕

OpenVINO™為Intel推出的人工智慧加速開發工具,經過五週的充電課教學、實作,11/17(日)的Demo Day和決賽日,14組競賽團隊進行專案Pitch,並選出前三名和五名佳作。

搭配OpenVINO與OpenCV 電腦視覺一點都不難

處理電腦視覺只能靠 OpenCV 單打獨鬥嗎?OpenVINO 開源工具其實強化了「深度學習」技術在電腦視覺的相關應用,有效搭配兩者將能提升執行效能。

【OpenVINO】Edge AI應用落地與開發實務論壇報導

10月24日的《OpenVINO™ 邊緣運算技術論壇》,一共邀請到四位講師分享人工智慧發展多年後,做到了哪些更貼近需求的應用,而非如科幻電影般的想像。

【OpenVINO™ 教學】使用深度影像實作道路避障偵測

本篇文章運用 OpenVINO、UP Squared、RealSense 深度攝影機,實作道路避障偵測。

【OpenVINO™教學】土炮體感控制系統

微軟推出的Kinect雖然在2017年停產,卻也讓體感互動更上一層樓,但其實想要自製體感控制系統也不無可能,本篇文章將會說明,如何使用Intel OpenVINO結合OpenPose預訓練模型來完成「土炮體感控制系統」。

【OpenVINO™教學】運用UP Squared嵌入式開發板實現街景辨識

本文將帶讀者在嵌入式控制板上面操作 OpenVINO,搭配 Movidius NCS2 使用 Tensorflow 物件辨識、圖片物件分類技術,並針對台灣路況即時影像(九份老街)進行街景識別。

【OpenVINO™教學】土炮影像實例分割型智慧監控系統

過去要做到精準的物件偵測,不僅需要高難度的技術更需要專家協助,但運用OpenVINO能讓「語義分割」及「實例分割」的開發難度大大降低,本篇文章將會分享「實例分割型智慧監控系統」的概念驗證實驗。

【人臉辨識】使用OpenVINO預訓練模型進行人臉辨識

本篇文章介紹如何使用 OpenVINO 所提供的三種預先訓練模型:face detection、facial landmarks 及 facial embedded features 來進行人臉識別。

【OpenVINO™教學】如何套用預訓練模型,透過DNN進行物件偵測

本文介紹如何將Caffe預訓練的模型,在OpenVINO™環境下套用DNN來進行物件偵測。

【活動報導】運用OpenVINO進入AI世界

由 Sertek 主辦、Intel 協辦的《OpenVINO 邊緣運算技術論壇》於 6/26(三)邀請四位講者分享 OpenVINO 工具包的技術特色及實際應用案例,帶領大家認識 OpenVINO,一同走進 AI 的視覺辨識殿堂。

【AI_Column】運用 Intel OpenVINO 土炮自駕車視覺系統

本文除了介紹影像語義(像素級)分割原理、OpenVINO基本架構,更以如何建構自駕車視覺系統為例,介紹如何應用OpenVINO中預先訓練與優化的模型來進行場景辨識。

【應用情境】用OpenVINO開發數位看板精準行銷應用

OpenVINO提供已經替開發者訓練好不少模型(Pre-trained model),本文將帶領你透過臉部辨識模型來判斷被攝者的性別與推測年齡,並進一步描繪數位看板智慧應用情境。

【AI加速工具】OpenVINO無痛安裝指引

本篇將介紹 Intel 在今(2018)年推出OpenVINO,一套開放視覺推論及神經網路最佳化軟體平台,大幅降低在各種不同使用場景中,造成開發上耗費大量的精力和成本。

以C++語言構建OpenVINO GenAI應用程式就是這麼簡單!

OpenVINO GenAI API提供了原生C++介面,免除對Python依賴項的需求,讓開發者能以更節省資源的方法打造AI應用。本文提供了使用Windows作業系統為範例,逐步構建OpenVINO GenAI 應用程式的指南。

輕薄型筆電OK!利用OpenVINO部署Phi-3.5「全家餐」

近期微軟發佈了最新的Phi-3.5系列SLM模型,是非常適合在AI PC上運作的模型任務。本文將分享如何利用OpenVINO在你的AI PC上部署最新Phi-3.5-mini及Phi-3.5-vision模型。

LLM性能再強化 OpenVINO 2024.3隆重發佈!

OpenVINO 2024.3版本現在已經正式推出!這次更新帶來了新的功能,並對現有功能進行了強化,特別是大型語言模型(LLM)的性能;本文將介紹此新版本的關鍵進展。

OpenVINO全新GenAI API:幾行程式碼就能快速建立GenAI App!

全新的OpenVINO GenAI API為開發者提供了更簡單與清晰的程式碼;這意味著除了提供電腦視覺、AI加速與最佳化程式庫,OpenVINO現在也是開發者實現GenAI應用的助力。

OpenVINO 2024.2姿態模型效能評估:以OpenPose、YOLOv8與3D-Pose為例

本文主要於ASRock NUC BOX-155H平台進行,使用Intel Core Ultra運作的NUC (下一代計算單元)。我們將姿態辨識模型OpenPose、3D Pose、MoveNet 與 YOLOv8 模型轉換為OpenVINO IR模型格式,分別在CPU、iGPU及NPU上進行部署。觀察這些模型在CPU、iGPU及NPU的硬體效能差異,透過實際執行影片推論的過程,觀察NPU的性能表現。

【開箱實測】OpenVINO榨出單板極限,實作離線LLM AI助理!

在當前AI PC問世之際,相信不少人已知道OpenVINO可以加速離線大語言模型(LLM)的推論速度,本篇文章是要更進一步在資源更為受限的單板電腦上進行大語言模型的推論,甚至是實作一個離線大語言模型的AI助理出來!

以LLaVA-NeXT和NNCF先進量化技術掌握多模態AI

在這篇文章中,我們將探索LLaVA-NeXT多模態聊天機器人Notebook,學習如何轉換和最佳化LLaVA-NeXT模型來打造多模態聊天機器人。此外,我們將探討如何在LLM部分應用有狀態轉換(stateful transformation)和使用NNCF進行權重壓縮和量化等模型最佳化技術。

釋放多模態AI的力量:利用Pix2Struct和Optimum Intel

多模態可以同時處理視覺、聽覺和文字資料,以驚人的深度和精確度解釋其環境;在這篇文章中,我們將深入探討多模態AI的能力,並探索Intel的OpenVINO工具套件如何最佳化這些複雜系統,以因應現實世界的應用。

LangChain框架已正式支援OpenVINO!

透過LangChain,開發者可以輕鬆構建基於RAG或者Agent流水線的複雜應用體系,而目前我們已經可以在LangChain 的關鍵元件LLM、Text Embedding和Reranker中直接呼叫OpenVINO進行模型部署!

輕鬆使用OpenVINO在本地裝置離線運作Llama3

利用OpenVINO部署Llama3到本地運算資源,例如AI PC,不僅意味著更快的回應速度和更低的運作成本,還能有效地保護資料安全,防止敏感資訊外洩。這對於需要處理高度敏感性資料的應用場景尤其重要,如醫療、金融和個人助理等領域。本文將介紹如何使用OpenVINO對Llama3模型進行最佳化和推論加速,並將其部署在本地裝置上,進行更快、更智慧的AI推論。

用OpenVINO C# API部署YOLOv9目標檢測和實例分割模型

YOLOv9模型是YOLO系列即時目標檢測演算法中的最新版本,代表著該系列在準確性、速度和效率方面的又一次重大飛躍。在本文中,我們將結合OpenVINO C# API使用最新發佈的OpenVINO 2024.0部署YOLOv9目標檢測和實例分割模型。

OpenVINO 2024.0:為開發者提供更高性能、更強大支援  

OpenVINO 2024.0來了!我們很高興在這個版本推出一系列強化功能,目標是在快速發展的AI領域賦予開發者更強大的能力;新版本透過動態量化、改善的GPU最佳化以及對混合專家(MoE)模型架構的支援,增強了大語言模型(LLM)的性能。OpenVINO 2024.0讓開發者能有效利用AI加速,這也要感謝來自社群的持續貢獻。

用OpenVINO與NNCF最佳化Whisper語音辨識模型

本文示範如何以OpenVINO與Optimum Intel載入並執行Whisper與Distil-Whisper模型進行音訊轉錄任務,以及如何使用NNCF對這些模型執行INT8訓練後量化;接著在橫跨多種CPU的裝置上以大規模語音轉文字資料集評估這些模型。

如何在Google Colab上運行OpenVINO Open Model Zoo範例

本篇文章會以OMZ 影像分類(Classification) Public Pre-Trained Models為例,說明如何在Colab 上直接運行Intel Open Model Zoo。

如何在Windows平台呼叫NPU部署深度學習模型

在最新一代的Intel Core Ultra行動終端處理器中已經整合了簡稱為NPU的神經網路加速處理器,以提供低功耗的AI算力,而OpenVINO工具套件也在第一時間對NPU進行了配接。本文將帶領讀者一起看看如何在Intel Core Ultra處理器上搭建基礎環境,並呼叫NPU進行模型推論任務。

用OpenVINO和LangChain打造你專屬的RAG問答系統

隨著生成式AI的興起,和大語言模型對話聊天的應用變得非常熱門,但這類應用往往只能簡單地和你「聊聊家常」,並不能針對某些特定產業提供非常專業和精準的答案。那有沒有辦法讓你的模型學習到新的知識呢?當然有!在沒有足夠GPU運算資源對模型進行重新訓練的情況下,RAG方式對普通使用者來說更友善。本文就要來探討如何利用OpenVINO以及LangChain工具構建屬於你的RAG問答系統。

輕鬆利用OpenVINO結合LangChain與Llama2打造智慧小助手

LLM大模型存在很多痛點,包括但不限於資料陳舊、無法和外部元件互動等,本文旨在使用 OpenVINO 2023.1新版本的特性加速Llama2模型,為Llama2客製化Prompt,並用LangChain 實現可連網取得最新消息的輔助搜尋功能

利用Intel平台提升LLM微調與訓練效率:ResNet50+LoRA範例

本文將說明如何善用英特爾(Intel)所研發的新產品和相關技術,來提升AI模型的訓練效率,以便提供更優質的推論功能。為了循序漸進介紹上述的新產品及其相關的使用技術,本文先從大家熟悉ResNet50圖像分類模型做為起步範例,並搭配LoRA來進行外掛訓練,以便從這簡單範例中充分理解如何活用上述的創新產品及相關技術。

OpenVINO 2023.2版本發佈:讓生成式AI在實際場景中更易用

OpenVINO發佈最新2023.2版本了!與之前的版本一樣,在提高性能、增加對新AI模型的支援,以及構建基礎設施和模型快取等不同元件方面都有重大改進,除了並導入在CPU和整合顯卡上運作權重量化為int8和int4精度的LLM的能力,也更新了模型轉換和最佳化工具;OpenVINO產品架構師Yury Gorbachev將在本文詳細介紹新版本的優勢。

一步到位:利用OpenVINO實現LCM高速影像生成

最近橫空出世的潛在一致性模型(LCM)讓文生圖模型的圖片急速生成變成可能。LCM可以在任何預訓練的潛在擴散模型上進行快速推斷、步驟最少,包括穩定擴散模型(Stable Diffusion)。用OpenVINO也能對充滿魔力的LCM文生圖模型進行完全的最佳化、壓縮以及推理加速、快速部署的支援!

OpenVINO 2023.1版本問世: 在邊緣端賦能生成式AI

OpenVINO  2023.1版本希望將生成式 AI 的強大功能導入常規桌上型電腦和筆記型電腦,讓這些模型可以在資源受限的本地環境中運作`在整個產品中針對這些場景進行了最佳化,實現了一些關鍵功能,並為我們的下一步工作計畫奠定了基礎。也就是說,我們的變化不僅限於生成式AI,我們還改進了產品的其他部分。以下讓我們來看看這些變化到底是什麼。

以AI進行無人機巡檢河川地貌分析

由於工業科技快速發展,環境議題一直備受討論與重視;近幾年,由於邊緣運算、AI、硬體加速與無人機等技術趨於成熟,公民營機構--尤以公部門為首--開始思考是否能借助科技的力量來進行環境工程,本文即以AI物件分割技術作為技術基礎,配合台中市環保局河川揚塵防治計畫進行河床地貌影像分割。

利用OpenVINO以BLIP實現視覺語言邊緣AI部署

隨著電腦視覺和自然語言處理領域的快速發展,視覺與語言的融合越來越受到研究人員的重視。在這個背景下,BLIP引起了廣泛關注--該模型在大規模的影像文字資料集上預訓練深度神經網路模型,以提高下游視覺語言任務的性能,如影像文字檢索、影像描述和視覺問答。本文作者將帶領讀者一步步了解如何在研揚科技(AAEON)的新產品UP Squared Pro 7000 Edg上,利用OpenVINO來最佳化BLIP的推論加速。

用Llama 2和OpenVINO打造聊天機器人

Meta終於推出了免費商用版本Llama 2,藉著這個機會,我們來分享一下如何用Llama 2和OpenVINO工具套件來打造一款聊天機器人。

免「仲介」 OpenVINO能直接支援PyTorch模型物件!

隨著OpenVINO 2023.0版本的發佈,OpenVINO工具庫中預置了全新的PyTorch前端,為開發者們提供了一條全新的PyTorch模型支援路徑,帶來更友好的用戶體驗—— OpenVINO的mo工具可以直接將PyTorch模型物件轉化為OpenVINO的模型物件,開發者可以不需要將ONNX模型作為中間過渡。

【開箱評測】OpenVINO讓你不上網也能和Dolly聊聊天

以往在AI模型部署優化及推論部份,通常都會想到使用 Intel OpenVINO,不過大家多半只注意到它在「電腦視覺」相關的應用,殊不知自從2022.1版後就已開始加入許多「自然語言」的範例。而最近2023.0版又更加強GPU處理記憶體動態外形(Dynamic Shape)的能力,使得如生成型預訓練變換模型(GPT)這類基於轉換器(Transfomer)技術的大型語言模型能得到更好的實現。

利用OpenVINO部署HuggingFace預訓練模型的方法與技巧

透過HuggingFace開源的Transformers、Diffusers程式庫,只需要要調用少量介面函數,入門開發者也可以非常便捷地微調和部署自己的大模型任務,你甚至不需要知道什麼是GPT、BERT就可以用它們的模型,開發者不需要從頭開始構建模型任務,大幅簡化了工作流程。

最新版OpenVINO 2023.0問世:更輕鬆部署、加速AI應用!

OpenVINO 五週年紀念日即將來臨的此刻,我們很興奮地宣佈OpenVINO最新版本──OpenVINO 2023.0問世!新版本的重點是透過最大限度減少離線轉換、擴大模型支援和推進硬體最佳化來改善開發者之旅,以下讓我們對一些新功能進行深入研究…

不用買顯卡 OpenVINO 也能玩 Stable Diffusion V2!

近期掀起的一陣AIGC浪潮讓ChatGPT大型語言模型、Midjourney與DALL-E等圖像生成模型備受關注,其中又以Stable Diffusion最受到社群熱烈討論,主要原因就是可以自行佈署與修改模型,可玩性與彈性相當大!本篇就要來介紹如何使用OpenVINO Notebooks來玩Stable Diffusion V2!

用OpenVINO C++ API編寫YOLOv8-Seg實例分割模型推論程式

本文章將介紹使用OpenVINO C++ API開發YOLOv8-Seg實例分割(Instance Segmentation)模型的AI推論程式。

在Windows平台以Visual Studio為基礎配置OpenVINO C++開發環境

本文主要介紹如何在Windows平台以Visual Studio為基礎配置OpenVINO C++開發環境,作者將帶領大家一步步從零開始,並提供完整的測試程式碼。

AI分割一切:用OpenVINO加速Meta SAM大模型

最近在電腦視覺領域就出現了專屬的物體分割大模型,由Meta開源的「萬物可分割」(SAM)物體分割模型。這個強大的通用分割模型,當然也能用OpenVINO進行最佳化以及推論的加速,使其能方便快速地在Intel的CPU上部署執行。來跟著我們提供的程式碼與步驟一起來動手試試吧!

如何以OpenVINO在Intel GPU上執行Stable Diffusion

你知道我們也可以執行最夯的Stable Diffusion圖片生成模型,並且將該模型轉換為OpenVINO的IR格式,讓它在CPU與GPU上高效率執行嗎?

如何用OpenVINO讓YOLOv8獲得1000+FPS性能?

YOLO又推出了最新的YOLOv8模型,其模型架構創新以及性能提升,使其剛問世就獲得廣大開發者的關注。如果說利用OpenVINO的量化和加速,利用英特爾CPU、整合式顯卡以及獨立顯卡與同一程式碼庫無縫協作,可以獲得1000+ FPS的性能,你相信嗎?我們將一步步教你在利用OpenVINO在英特爾處理器上實現這樣的性能。

【OpenVINO瑕疵檢測功能】Anomalib 介紹與實作教學

本文將依序介紹OpenVINO toolkit不久前針對工業瑕疵檢測推出的Anomaly Lib函式庫架構,挑選數個知名異常檢測模型進行原理、特色說明,並逐步進行操作說明。

實作 OpenVINO 加速 YOLOv7 推論

YOLOv7 使用了 pyTorch 框架實作 YOLO 架構,並且導出模型,這在使用上無疑更具彈性與方便性。本篇文章將運用 OpenVINO 來對 YOLOv7 模型進行轉換,提高其在邊緣裝置上的 AI 推論效能!

讓你也能成為智能影音分析大師 – Intel OpenVINO DL Streamer

Intel OpenVINO Toolkit 2022.1版在今年作出不少重大變革,本文將帶大家認識DL Streamer架構及安裝技巧,以及分析DL Streamer的表現,帶領大家深入了解OpenVINO這項好用的工具。

如何在Windows安裝Linux(WSL2+Ubuntu)及Docker來執行OpenVINO和DL Streamer

隨著Win11上市,WSL2也迎來較大幅度的更新,本文將帶著大家從零開始一步一步架設Linux開發環境並且安裝安裝Intel OpenVINO、Docker和DL Streamer進行練習。

就用OpenVINO 來推論Teachable Machine模型吧!(2022.1 版)

Intel OpenVINO 在今年迎來最大幅度的版本更新,除更便利開發者進行操作外,也對 API 進行優化,那麼該如何利用這個最新版本的OpenVINO 推論 Teachable Machine 模型呢?一起來了解看看吧!

有了OpenVINO 2022 PrePostProcessor APIs,影像推論就更有效率了!

OpenVINO 2022.1版本中,透過PrePostProcessor (PPP) APIs使得推論效能有明顯的改善,當使用iGPU來推論時,其效能更大幅超越CPU和神經運算棒(NCS2, Myriad X)。PPP的特色及優勢為何?且看本文介紹。

OpenVINO 2022大改版 讓Edge AI玩出新花樣

Intel開發的電腦視覺與深度學習應用的開發套件OpenVINO自2018年問世以來,造福了不少AI應用的開發者,而今年發布的2022.1版是這三年半來最大幅度的更新,本文將簡單盤點此次更新的幾大要點。

邊緣AI的最佳學習路徑 – OpenVINO Notebooks

不會訓練AI模型,是否一定要從頭開始苦學神經網路,才能開發AI?現在有了事半功倍的方法 – OpenVINO Notebooks,本文將介紹如何運用這項工具進行系統化學習,無痛打開AI落地的應用大門。

不須轉換!OpenVINO整合TensorFlow框架實現推論加速!

Intel在2021下半年推出的OpenVINO™ integration with TensorFlow能夠實現在TensorFlow中介接OpenVINO執行推論加速,本篇將帶大家實際操作,了解如何在不用改code的情況下,直接在TensorFlow推論並完成OpenVINO加速。

當OpenCV遇上OpenVINO:如何使用IR model進行推論?

本文將探討是否可以直接用OpenCV進行影像處理、辨識,並在瀏覽器上應用Intel的OpenVINO的Inference Engine套件,並以IR model檔案去進行AI推論。

就用Open Model Zoo來豐富你的OpenVINO應用

OpenVINO Toolkit子專案Open Model Zoo提供超過300個以上立即可用的預訓練AI模型,涵蓋超過50種不同類型的範例程式原始碼,讓想要嘗試進入AI領域的人更容易上手,本文章將帶領讀者一起探索這個資源豐富的寶庫。

OpenVINO模型最佳化實測:PC/NB當AI辨識引擎沒問題!

本文針對OpenVINO進行模型最佳化轉換的效能實測,證明Intel-based PC及NB也能拿來當AI辨識引擎沒問題。

OpenVINO雲端也能GO!四個步驟輕鬆在DevCloud實作AI推論

Intel DevCloud是一個免費的AI雲端開發平台,開發者們可運用這些資源來學習並應用AI,本篇文章將使用DevCloud for the Edge,在簡單的四個步驟之中,完成一個Object Detection物件偵測的DEMO操作。

優化OpenVINO模型效能:參數設定影響實測

本文透過object_detecion_demo運作觀察,參數設定過程如何影響模型在同一台機器上推論效率的變化,接下來的內容為觀察到的現象,可以作為日後模型推論在配置時參數設定的一些參考。

【OpenVINO專欄】用DL Workbench輕鬆完成AI模型的分析與部署工作

本文將介紹如何應用OpenVINO的DL Workbench選用現有或是自製的模型,透過GUI介面,輕鬆完成模型的分析與部署工作。

OpenVINO結合Teachable Machine蹦出新滋味

本文將介紹如何結合Teachable Machine與OpenVINO兩個簡單好上手的AI工具,幫助使用者在短時間內完成簡單的邊緣運算模型訓練,同時也更快速的綜觀全局並找到解決問題的方向。

【先試再上】Intel DevCloud助你雲端驗證AI佈署,免費!

Intel 推出的免費雲端開發平台「DevCloud」,不僅提供OpenVINO讓使用者進行AI推論程式開發及測試,更協助評估佈署後效能,讓使用者可以更精準地採購所需設備。本篇文章將帶領讀者深入了解這項免費工具。

【OpenVINO實測】ROS系統YOLOv3效能初體驗

本文將介紹ROS解決方案及OpenVINO架構,並且評測YOLOv3在Edge AI上的應用及效能。

【AI進教室】透過電腦視覺掌握教室學習狀態

即時掌握學生的學習狀態,對教師維繫教學品質來說非常重要。本文將探討能否透過人工智慧與資訊技術的結合,進一步瞭解學生學習過程中的學習狀況與學習態度的資訊,解決學生人數較多時難以由教師親自察看的處境。

影像採集結合深度學習,打破Edge AI的影像效能瓶頸

本文將介紹聰泰科技如何結合自身在專業影像領域的經驗及AI團隊,搭配OpenVINO平台推出影像AI解決方案,幫助工程師們能輕鬆將傳統的監控應用升級到AI級的影像應用。

小孩才作選擇,AI推論速度及準確度我全都要 ─ OpenVINO Post-Training Optimization Tool簡介

身為人工智慧(AI)從業人員,如何兼顧模型的速度和準確度是一大挑戰。利用INTEL OpenVINO推出的「Post-Training Optimization Tool (POT)」能有效解決,一起來了解如何使用吧。

不用寫程式也能玩轉深度學習模型 ─ OpenVINO™ DL Workbench圖形化介面工具簡介

DL Workbench(Deep Learning Works Benchmark)一個方便的網頁式圖形化介面工具,讓非程式設計背景的社群夥伴都可以輕鬆使用,一起來看看其使用流程以及範例操作吧!

串流影片分析慢吞吞?看OpenVINO™ DL Streamer如何加速效率

當深度學習技術遇到視訊檔案或串流影片時,逐格(by Frame)影像分析就變得很沒效率,有辦法提升嗎?可試試用DL Streamer來加速喔。

如何利用Docker快速建置OpenVINO™ Toolkit開發環境

為解決安裝步驟系統無法運行,OpenVINO推出Docker安裝方式,輕鬆搞定安裝及執行問題,本篇簡單說明Docker是什麼?以及相關的工作環境以及範例說明。

【OpenVINO™教學】自製麵包影像辨識POS機的應用

最近麵包影像辨識結帳機很紅,且用Windows 10 PC來做做看如何套用現有模型Model來做物件偵測。

【OpenVINO™教學】土炮智能機器手臂之視覺系統

機器手臂早已成為自動化工廠中不可或缺的最佳幫手,本篇文章將會說明如何使用Intel OpenVINO™+RealSense™自製機器手臂之視覺系統。

搭配OpenVINO與OpenCV 電腦視覺一點都不難

處理電腦視覺只能靠 OpenCV 單打獨鬥嗎?OpenVINO 開源工具其實強化了「深度學習」技術在電腦視覺的相關應用,有效搭配兩者將能提升執行效能。

【OpenVINO™ 教學】使用深度影像實作道路避障偵測

本篇文章運用 OpenVINO、UP Squared、RealSense 深度攝影機,實作道路避障偵測。

【OpenVINO™教學】土炮體感控制系統

微軟推出的Kinect雖然在2017年停產,卻也讓體感互動更上一層樓,但其實想要自製體感控制系統也不無可能,本篇文章將會說明,如何使用Intel OpenVINO結合OpenPose預訓練模型來完成「土炮體感控制系統」。

【OpenVINO™教學】運用UP Squared嵌入式開發板實現街景辨識

本文將帶讀者在嵌入式控制板上面操作 OpenVINO,搭配 Movidius NCS2 使用 Tensorflow 物件辨識、圖片物件分類技術,並針對台灣路況即時影像(九份老街)進行街景識別。

【OpenVINO™教學】土炮影像實例分割型智慧監控系統

過去要做到精準的物件偵測,不僅需要高難度的技術更需要專家協助,但運用OpenVINO能讓「語義分割」及「實例分割」的開發難度大大降低,本篇文章將會分享「實例分割型智慧監控系統」的概念驗證實驗。

【人臉辨識】使用OpenVINO預訓練模型進行人臉辨識

本篇文章介紹如何使用 OpenVINO 所提供的三種預先訓練模型:face detection、facial landmarks 及 facial embedded features 來進行人臉識別。

【OpenVINO™教學】如何套用預訓練模型,透過DNN進行物件偵測

本文介紹如何將Caffe預訓練的模型,在OpenVINO™環境下套用DNN來進行物件偵測。

【AI_Column】運用 Intel OpenVINO 土炮自駕車視覺系統

本文除了介紹影像語義(像素級)分割原理、OpenVINO基本架構,更以如何建構自駕車視覺系統為例,介紹如何應用OpenVINO中預先訓練與優化的模型來進行場景辨識。

【應用情境】用OpenVINO開發數位看板精準行銷應用

OpenVINO提供已經替開發者訓練好不少模型(Pre-trained model),本文將帶領你透過臉部辨識模型來判斷被攝者的性別與推測年齡,並進一步描繪數位看板智慧應用情境。

【AI加速工具】OpenVINO無痛安裝指引

本篇將介紹 Intel 在今(2018)年推出OpenVINO,一套開放視覺推論及神經網路最佳化軟體平台,大幅降低在各種不同使用場景中,造成開發上耗費大量的精力和成本。

【開箱評測】探索未來:結合迷你PC與生成式AI的個人多媒體助理

以mini PC作為多媒體AI個人助理的應用,展現了AI技術日益貼近日常生活的趨勢,未來這類設備將在提升個人生活品質和工作效率方面扮演越來越重要的角色,而本文將分析NUC BOX-155H這台mini PC在多媒體處理上的效能,並且分享一個未來十分看好、能成為個人多媒體助理的AI模型:Stable Diffusion及其多個版本的發展與應用選擇。

OpenVINO 2024.2姿態模型效能評估:以OpenPose、YOLOv8與3D-Pose為例

本文主要於ASRock NUC BOX-155H平台進行,使用Intel Core Ultra運作的NUC (下一代計算單元)。我們將姿態辨識模型OpenPose、3D Pose、MoveNet 與 YOLOv8 模型轉換為OpenVINO IR模型格式,分別在CPU、iGPU及NPU上進行部署。觀察這些模型在CPU、iGPU及NPU的硬體效能差異,透過實際執行影片推論的過程,觀察NPU的性能表現。

【開箱實測】OpenVINO榨出單板極限,實作離線LLM AI助理!

在當前AI PC問世之際,相信不少人已知道OpenVINO可以加速離線大語言模型(LLM)的推論速度,本篇文章是要更進一步在資源更為受限的單板電腦上進行大語言模型的推論,甚至是實作一個離線大語言模型的AI助理出來!

運用BF16與NHWC技術實現進階版LLM微調訓練最佳化

本文要來介紹如何利用BF16半精度浮點數以及將影像資料設為NHWC格式兩項技術,來最佳化大型AI模型的訓練速度與記憶體節省,並延續以微調模型訓練為範例,透過完整程式碼來示範如何發揮這兩項新技術的用法和魅力。

利用Intel平台提升LLM微調與訓練效率:ResNet50+LoRA範例

本文將說明如何善用英特爾(Intel)所研發的新產品和相關技術,來提升AI模型的訓練效率,以便提供更優質的推論功能。為了循序漸進介紹上述的新產品及其相關的使用技術,本文先從大家熟悉ResNet50圖像分類模型做為起步範例,並搭配LoRA來進行外掛訓練,以便從這簡單範例中充分理解如何活用上述的創新產品及相關技術。

【CIRCUS Pi】UP Squared Pro 7000 運行 OpenVINO Notebooks之AI效能評測

本文開箱測試研揚(AAEON)今年 2023 最新推出第三世代的 UP Squared PRO 7000,運行 OpenVINO Notebooks 測試 AI 運算的效能。

【CIRCUS Pi】AI 教學——實測 UP Squared Pro 7000 Edge 製作 AI 專案

習慣以筆電或桌機運行 Windows 的使用者在製作 AI 邊緣運算專案時,選擇同樣安裝Intel CPU的單板電腦能大幅度降低熟悉新系統的時間,而OpenVINO 2022.1出現更降低了Intel 執行 AI 推論的部屬與操作時間,本文將使用研揚的 UP Squared Pro 7000 Edge進行實測與教學。

【開箱評測】OpenVINO讓你不上網也能和Dolly聊聊天

以往在AI模型部署優化及推論部份,通常都會想到使用 Intel OpenVINO,不過大家多半只注意到它在「電腦視覺」相關的應用,殊不知自從2022.1版後就已開始加入許多「自然語言」的範例。而最近2023.0版又更加強GPU處理記憶體動態外形(Dynamic Shape)的能力,使得如生成型預訓練變換模型(GPT)這類基於轉換器(Transfomer)技術的大型語言模型能得到更好的實現。

不用買顯卡 OpenVINO 也能玩 Stable Diffusion V2!

近期掀起的一陣AIGC浪潮讓ChatGPT大型語言模型、Midjourney與DALL-E等圖像生成模型備受關注,其中又以Stable Diffusion最受到社群熱烈討論,主要原因就是可以自行佈署與修改模型,可玩性與彈性相當大!本篇就要來介紹如何使用OpenVINO Notebooks來玩Stable Diffusion V2!

【開箱評測】巴掌大的迷你主機也能跑出高效AI推論表現!

為了更進一步了解這類迷你主機在AI推論效能的表現,此次選用東擎(ASRock Industrial) NUC BOX-1260P作為測試機,AI推論部份則選用OpenVINO 2022.3版作為基礎工具。而測試項目則使用OpenVINO Notebooks中最新的物件偵測「Convert and Optimize YOLOv8 with OpenVINO」範例作為實測效能的分析。

實作 OpenVINO 加速 YOLOv7 推論

YOLOv7 使用了 pyTorch 框架實作 YOLO 架構,並且導出模型,這在使用上無疑更具彈性與方便性。本篇文章將運用 OpenVINO 來對 YOLOv7 模型進行轉換,提高其在邊緣裝置上的 AI 推論效能!

【評測文】工業AIOT邊緣運算電腦與OpenVINO 的結合實測

OpenVINO工具套件讓電腦視覺AI應用開發人員能跨多個硬體平台加速AI模型的效率,本文是針對OpenVINO在工業電腦上運作的效率進行驗證而做出的評測報告。

OpenVINO模型最佳化實測:PC/NB當AI辨識引擎沒問題!

本文針對OpenVINO進行模型最佳化轉換的效能實測,證明Intel-based PC及NB也能拿來當AI辨識引擎沒問題。

優化OpenVINO模型效能:參數設定影響實測

本文透過object_detecion_demo運作觀察,參數設定過程如何影響模型在同一台機器上推論效率的變化,接下來的內容為觀察到的現象,可以作為日後模型推論在配置時參數設定的一些參考。

【OpenVINO實測】ROS系統YOLOv3效能初體驗

本文將介紹ROS解決方案及OpenVINO架構,並且評測YOLOv3在Edge AI上的應用及效能。

【AI進教室】透過電腦視覺掌握教室學習狀態

即時掌握學生的學習狀態,對教師維繫教學品質來說非常重要。本文將探討能否透過人工智慧與資訊技術的結合,進一步瞭解學生學習過程中的學習狀況與學習態度的資訊,解決學生人數較多時難以由教師親自察看的處境。

OpenVINO 2024.2姿態模型效能評估:以OpenPose、YOLOv8與3D-Pose為例

本文主要於ASRock NUC BOX-155H平台進行,使用Intel Core Ultra運作的NUC (下一代計算單元)。我們將姿態辨識模型OpenPose、3D Pose、MoveNet 與 YOLOv8 模型轉換為OpenVINO IR模型格式,分別在CPU、iGPU及NPU上進行部署。觀察這些模型在CPU、iGPU及NPU的硬體效能差異,透過實際執行影片推論的過程,觀察NPU的性能表現。

運用BF16與NHWC技術實現進階版LLM微調訓練最佳化

本文要來介紹如何利用BF16半精度浮點數以及將影像資料設為NHWC格式兩項技術,來最佳化大型AI模型的訓練速度與記憶體節省,並延續以微調模型訓練為範例,透過完整程式碼來示範如何發揮這兩項新技術的用法和魅力。

Intel攜手生態系夥伴展示AI智慧醫療應用最新成果

英特爾(Intel)攜手24家合作夥伴於年度台灣醫療科技展(Healthcare+ EXPO 2023)共同展示基於最新AI技術的實際應用案例,並將與近300位來自東南亞、東北亞、歐洲、中東、美州的國際代表團專家互相交流分享,以及安排超過80場的商業媒合會議,促進台灣與國際合作機會,持續擴大智慧醫療推廣與應用。

AI視覺「看見」美好未來 廠商分享成功落地經驗 

在日前一場由處理器大廠英特爾(Intel)代理商夥伴──電子零組件通路業者建智(Sertek)主辦的「Visual to AIGC智慧應用落地部署實務論壇」技術研討會,邀請到來自不同領域的專業廠商分享在部署邊緣AI視覺應用的成功案例。

不只保障安全 AI讓監控攝影機成為商業智慧利器

在「全方位智能防護」技術交流會上,Intel、Sertek,以及專長智慧影像分析、誕生於台灣的業者SkyREC,分享了一套結合AI的監控攝影r機系統解決方案AiMS,除了強調容易部署、可滿足各種大小規模專案需求以及高運作效率等優勢,該方案還具備能將影像分析數據結構化的獨特功能,能讓使用者從清晰圖表報告中迅速掌握商店客流量等趨勢,作為規劃商業策略的依據。

迎接AI時代 用最AI的方式學習AI

在多年前將Arduino開發板導入台灣市場、引領Maker年代的PlayRobot,以Intel所開發的開放性深度學習推論應用工具套件OpenVINO做為媒介,設計結合動手實作與理論的教學課程,期望能讓完全不懂AI的新手、或是跨領域的學習者,都能輕鬆進入AI世界。

【CAVEDU講堂】建立 ChatGPT LINE 交談式AI – 放在 RK-OpenVINO AIBox 上更方便、更酷!

近期最火熱的科技話題,非ChatGPT莫屬,本文將說明如何在 RK-OpenVINO™ AI BOX 上建立一個 LINE 對話機器人,並串接 OpenAI API 來做到更好的對話體驗。

【開箱評測】巴掌大的迷你主機也能跑出高效AI推論表現!

為了更進一步了解這類迷你主機在AI推論效能的表現,此次選用東擎(ASRock Industrial) NUC BOX-1260P作為測試機,AI推論部份則選用OpenVINO 2022.3版作為基礎工具。而測試項目則使用OpenVINO Notebooks中最新的物件偵測「Convert and Optimize YOLOv8 with OpenVINO」範例作為實測效能的分析。

以創意+技術實力開拓AI新商機 Intel DevCup得獎團隊分享致勝秘訣

由MakerPRO攜手Intel舉辦的第18次「Edge AI社聚」,邀請到在2022年Intel DevCup競賽實作組獲得前三名的團隊,分享他們是如何成功開發出分別能解決珠寶業、養雞業,以及物業管理/保全業「痛點」,並協助業者降低成本、加速工作效率的商用邊緣人工智慧方案…

【OpenVINO開發案例】GAIS鑽石分級檢測機

傳統鑽⽯品質檢測需要⼈⼯進⾏⽬視檢測和評估,具有侷限性和不可量化的問題,利⽤AI技術進⾏⾃動化鑽⽯品質檢測,不但具有⾼效率及⾼準確性的優勢,也可以實現品質量化。

如何用OpenVINO讓YOLOv8獲得1000+FPS性能?

YOLO又推出了最新的YOLOv8模型,其模型架構創新以及性能提升,使其剛問世就獲得廣大開發者的關注。如果說利用OpenVINO的量化和加速,利用英特爾CPU、整合式顯卡以及獨立顯卡與同一程式碼庫無縫協作,可以獲得1000+ FPS的性能,你相信嗎?我們將一步步教你在利用OpenVINO在英特爾處理器上實現這樣的性能。

【OpenVINO開發案例】深度 3D 人體重建 應用於助聽器選配

本作品使用 OpenVINO 進行人體建模(3D),並將其應用於助聽器選配,解決助聽器調整人、事、時、地、物之限制,更展現了數位醫療替身之前瞻運用。

【OpenVINO開發案例】降低消防救災風險! 閃燃預警通知

閃燃是一種可怕的火場現象,此現象號稱是消防員的天敵,最容易在一瞬間令消防員致命。本專案希望協助消防員及時判斷出閃燃前的徵兆並加以應變,以挽救不必要的傷亡。

【OpenVINO開發案例】AI疾病預測系統 以酒癮為例

AI疾病預測系統的開發與應用,可協助診斷,提供遠距或診間醫療衛生服務。本開發案以酒癮為例,開發並應用AI模型,依據疾病史來預測是否罹患酒癮。

【OpenVINO開發案例】機台不停機自動巡檢系統

看見機台從資料的收集、AI技術的應用與快速佈署,站在使用者角度全方位的考量,以專案目標選擇適用的感測器與方法,建立友善的介面供使用者快速落地佈建,和高性價比的硬體投資。

【OpenVINO開發案例】骨質疏鬆人工智慧輔助篩檢系統

骨質疏鬆是全世界第二大流行病,本文將介紹如何使用一般X光機或行動X光車拍攝出符合WHO醫學指引的髖部醫學影像,並運用AI輔助分析,於6秒鐘內產出骨質疏鬆風險報告。

【OpenVINO開發案例】電腦視覺即時偵測路況、分析交通圖資

透過電腦視覺系統(Computer Vision),可以讓電腦自動學習推論並給出更具效率的判斷與決策,藉由固定路線且即時的公車裝載電腦視覺系統,利用 Object Detection Model 即時偵測路況。

【Maker Project】用AI開發溺水辨識救援系統

廣大的開放型水域或戲水場所,救生人員不一定可以即時發現溺水求救的民眾,而錯失救援機會,甚至發生悲劇,此專案希望透過影像偵測即時救援溺水的人。

【Maker Project】為文學加上彩妝的圖文匹配機

純文字的時代漸漸過去,拍出漂亮照片則是人人都已擁有的能力(因為手機越來越強大),那麼將這兩個概念結合起來如何?來看看這具有創意的專案吧!

【Maker Project】從零開始的二手書文字辨識

本專案嘗試開發出一台AI邊緣裝置,在進書時能幫書店老闆自動辨識此書的封面文字,並上傳雲端;當顧客上門,只需上雲端查詢即可找到想要的書。

【 讓生活更友善】用AI輔助視障者的創意專案

社會中,不乏有許多視障者需要生活機能上的協助,透過這些工具能夠帶給他們更好的體驗,並且實質幫助到他們的食衣住行,視障朋友不論是外出或是生活起居上皆有可能會遇到困難,請跟著我們一起了解這些作品吧!

【AI創意無法擋】OpenVNIO創意應用案例探討(下)

Intel在Hackster.io上發起一次AI挑戰賽,比賽包含三個獎項,本文將針對早鳥提交獎及開發者票選獎提出5個作品來進行介紹。

【AI創意無法擋】OpenVNIO創意應用案例探討(上)

Intel在Hackster.io上發起一次AI挑戰賽,比賽包含三個獎項,本文將針對由專業評審選出的Grand Prize優勝作品進行觀察。

鐵道障礙物入侵!AI如何即時辨識與預警?

今年4月,一台失控的工程車滑落軌道,造成死傷慘重的列車出軌事故。這起意外不禁讓人思考,有沒有辦法透過「科技」的力量及早預警,避免悲劇發生?本文將從AI影像辨識功能出發,剖析是否能夠利用現有的技術,製作出可以即時偵測、預警鐵道障礙物的辨識系統。

【OpenVINO™教學】自製麵包影像辨識POS機的應用

最近麵包影像辨識結帳機很紅,且用Windows 10 PC來做做看如何套用現有模型Model來做物件偵測。

【OpenVINO™教學】土炮智能機器手臂之視覺系統

機器手臂早已成為自動化工廠中不可或缺的最佳幫手,本篇文章將會說明如何使用Intel OpenVINO™+RealSense™自製機器手臂之視覺系統。

【OpenVINO™ 教學】使用深度影像實作道路避障偵測

本篇文章運用 OpenVINO、UP Squared、RealSense 深度攝影機,實作道路避障偵測。

【OpenVINO™教學】土炮體感控制系統

微軟推出的Kinect雖然在2017年停產,卻也讓體感互動更上一層樓,但其實想要自製體感控制系統也不無可能,本篇文章將會說明,如何使用Intel OpenVINO結合OpenPose預訓練模型來完成「土炮體感控制系統」。

【OpenVINO™教學】運用UP Squared嵌入式開發板實現街景辨識

本文將帶讀者在嵌入式控制板上面操作 OpenVINO,搭配 Movidius NCS2 使用 Tensorflow 物件辨識、圖片物件分類技術,並針對台灣路況即時影像(九份老街)進行街景識別。

【OpenVINO™教學】土炮影像實例分割型智慧監控系統

過去要做到精準的物件偵測,不僅需要高難度的技術更需要專家協助,但運用OpenVINO能讓「語義分割」及「實例分割」的開發難度大大降低,本篇文章將會分享「實例分割型智慧監控系統」的概念驗證實驗。

【AI_Column】運用 Intel OpenVINO 土炮自駕車視覺系統

本文除了介紹影像語義(像素級)分割原理、OpenVINO基本架構,更以如何建構自駕車視覺系統為例,介紹如何應用OpenVINO中預先訓練與優化的模型來進行場景辨識。

【應用情境】用OpenVINO開發數位看板精準行銷應用

OpenVINO提供已經替開發者訓練好不少模型(Pre-trained model),本文將帶領你透過臉部辨識模型來判斷被攝者的性別與推測年齡,並進一步描繪數位看板智慧應用情境。

新年首發 OpenVINO 2023.3 LTS版本隆重登場!

是時候在生成式人工智慧(AI)領域大放異彩地開啟2024年了,最新的OpenVINO推論工具2023.3 LTS版本隆重登場,導入了額外的框架改變,最佳化了生成式AI模型的特性,並強化了對現有平台的支援,將使您在新的一年中的程式編寫之旅變得異常精彩!本文將帶您了解新版本OpenVINO的一些重要更新。

【活動報導】聚焦新版OpenVINO Intel全球技術專家分享最新AI開發趨勢

英特爾舉辦的2023年首場DevCon系列線上講座,由重量級講者與近300位聽眾分享過去五年來OpenVINO團隊持續推動技術進展以及擁抱開源的理念,並介紹2023.0版本OpenVINO的技術亮點,及如何利用該工具套件加速部署當前最夯的生成式AI模型,實現高性能推論應用。

以創意+技術實力開拓AI新商機 Intel DevCup得獎團隊分享致勝秘訣

由MakerPRO攜手Intel舉辦的第18次「Edge AI社聚」,邀請到在2022年Intel DevCup競賽實作組獲得前三名的團隊,分享他們是如何成功開發出分別能解決珠寶業、養雞業,以及物業管理/保全業「痛點」,並協助業者降低成本、加速工作效率的商用邊緣人工智慧方案…

運用開源AI CV工具,提升製造品管效益

近年來興起的AI補強了傳統機器視覺的不足,逐漸成為製造業品管的新寵技術。本文將介紹如何運用開源AI 工具提升製造品管效益,並剖析此技術的優缺點及發展概況。

【看見未來】「5G自主邊緣」的技術融合新境界

5G自主邊緣(5G Autonomous Edge)一詞意指在整體5G通訊系統中的邊緣環節(鄰近於5G基地台)加入智慧機能,加速雲端Cloud、AI、5G三大領域技術的融合與演進,進而支援與實現新應用,本文將介紹5G自主邊緣可能的應用情境與對產業產生的影響。

鐵道障礙物入侵!AI如何即時辨識與預警?

今年4月,一台失控的工程車滑落軌道,造成死傷慘重的列車出軌事故。這起意外不禁讓人思考,有沒有辦法透過「科技」的力量及早預警,避免悲劇發生?本文將從AI影像辨識功能出發,剖析是否能夠利用現有的技術,製作出可以即時偵測、預警鐵道障礙物的辨識系統。

善用Edge AI達成智慧交通關鍵任務

為了因應交通狀況的緊急性,Edge AI技術在智慧交通的發展中更顯重要。一起來看看目前有哪些將AI運用於交通領域的具體案例吧。

ROS 2加持!AMR 如何助智慧工廠再升級?

AMR 自主移動機器人能自行找出到達目的地的最佳途徑、輕易繞開障礙物、自動跨層運輸,高效安全地執行任務,如今ROS 2問世,將如何讓AMR更上層樓?

【Edge AI】人臉辨識系統建置策略剖析

本文介紹Edge AI人臉辨識技術的發展,以及如何用於防疫應用,並進一步剖析分散式Edge AI系統建置的最佳化策略。

【活動報導】AI PC搭OpenVINO 在邊緣輕鬆部署LLM!

為了讓開發者更充分了解如何在自己的AI PC上發揮Intel最新版本OpenVINO開發平台的效能以實現更多創新應用,MakerPRO與Intel共同舉辦了以「探索AI PC新時代,學習在邊緣裝置輕鬆運作LLM」為題的第四場OpenVINO DevCon線上講座。

【活動報導】OpenVINO讓生成式AI隨手可及

2024年伊始,OpenVINO的最新版本2023.3 LTS正式發表,更進一步降低了生成式AI技術的門檻,為了讓廣大開發者對最新版OpenVINO的強化功能有更深入的了解,Intel與MakerPRO在2024年1月底共同舉辦了第三場OpenVINO DevCon線上講座…

【活動報導】聚焦新版OpenVINO Intel全球技術專家分享最新AI開發趨勢

英特爾舉辦的2023年首場DevCon系列線上講座,由重量級講者與近300位聽眾分享過去五年來OpenVINO團隊持續推動技術進展以及擁抱開源的理念,並介紹2023.0版本OpenVINO的技術亮點,及如何利用該工具套件加速部署當前最夯的生成式AI模型,實現高性能推論應用。

以創意+技術實力開拓AI新商機 Intel DevCup得獎團隊分享致勝秘訣

由MakerPRO攜手Intel舉辦的第18次「Edge AI社聚」,邀請到在2022年Intel DevCup競賽實作組獲得前三名的團隊,分享他們是如何成功開發出分別能解決珠寶業、養雞業,以及物業管理/保全業「痛點」,並協助業者降低成本、加速工作效率的商用邊緣人工智慧方案…

【活動報導】玩轉AI、成就極致,Intel DevCup競賽12/20圓滿落幕

第二屆「Intel® DevCup」競賽圓滿落幕,除了實作組與概念組的得獎作品之外,還有多位佳作、人氣票選的作品,皆令人驚豔。

【活動報導】Edge AI聰明部署關鍵論壇 輕鬆跨越應用瓶頸

AI應用已從雲端走向邊緣裝置,如何聰明部署邊緣運算也成為關注焦點,為協助各領域加速跨越AI邊緣運算的部署門檻,本次論壇邀集專家們從應用實例切入分享,帶領來賓輕鬆跨越部署瓶頸。

【活動報導】人體骨幹偵測技術與創新應用

人體骨幹偵測技術被廣泛使用在互動遊戲、入侵偵測、賣場行為分析、運動教學輔助、跌倒偵測、產線公共安全等各個領域,其重要地位不容小覷,本次Edge AI社聚邀請到三位專家,針對相關技術及應用實例進行分享。

【活動報導】玩轉AI 成就極致 — 2022 Intel DevCup競賽說明會

為驅動國內AI創新而舉辦的「Intel® DevCup」競賽將邁入第二屆,除了豐厚的獎金,主辦方更加碼提供完善的學習資源,希望藉此吸引更多優秀人才參與這場競賽。

【活動報導】跨領域也能玩AI!競賽概念組發掘多元應用

Intel® DevCup x OpenVINO™ Toolkit競賽不只「實作組」有許多優秀團隊,「概念組」的創意也同樣令人驚艷,本次社聚邀請到2021年競賽的「概念組」得獎團隊,和觀眾一起探討如何透過Edge AI創造更多的應用與解決方案。

【活動報導】AI上路!智慧交通守護出行安全

2021 Intel® DevCup x OpenVINO™ Toolkit競賽有不少參賽者選擇以智慧交通為參賽主題,本次活動邀請到其中三組優秀的團隊,和觀眾共同探討如何透過AI與電腦視覺,為提升交通安全提供更多科技解決方案。

【活動報導】AI輔助診斷系統 精準找出潛藏疾病

近年智慧醫療為大勢所趨,在2021年Intel® DevCup x OpenVINO™ Toolkit競賽中也有不少團隊瞄準此一方向。本次社聚邀請到其中幾組優秀的獲獎及入選團隊來介紹他們的作品,希望激盪出更多想法,一起為智慧醫療創造更多可能。

【活動報導】 實現精準病理診斷 打造AI智慧醫院

本次社聚邀請了擁有40多年專業經驗的陽明交大竹銘醫院唐高駿院長,以及掌握完善3D病理組織影像系統的捷絡生技技術長林宇捷為觀眾帶來豐富又精彩的分享。

2021 Intel DevCup x OpenVINO Toolkit 競賽作品亮點剖析

Intel®DevCup x OpenVINO Toolkit 競賽高手雲集,實作組注重開發實作,二十組團隊進入決選,一起直擊獎落誰家!

首屆Intel DevCup x OpenVINO Toolkit 圓滿落幕,實作組功力強、概念組創意佳!

AI人工智慧在科技演進過程中扮演至關重要角色,隨著近期「元宇 […]

【活動報導】機器視覺AI化,智慧工廠快狠準!

智慧工廠運用大數據、物聯網、AI資料分析等技術,做到改善產品良率和高效的瑕疵品檢測。如何分析產品是否有瑕疵和優化AI模型來達到提升判斷的正確率就成了關鍵。

【活動報導】如何用AI科技提升交通安全?

如何活用車聯網、雲端運算、大數據與AI人工智慧,做好車、路、人三者之間的資訊整合串連,讓交通運輸更安全順暢?

【活動報導】AI智慧零售 提升銷售競爭力

網路時代來臨,實體零售也要跟上潮流,導入AI結合大數據應用,打造智慧零售4.0。本次社聚邀請到兩位專家,帶領觀眾一起探討如何投過AI來提升銷售競爭力,實現零售商店智慧管理。

【活動報導】AI翻轉教室,提升教學成效!

近年教育部致力推動打造「智慧校園」與「智慧教室」,希望讓AI成為老師們教育與創新的助力,本次Edge AI線上社聚便邀請到兩位專家來做分享。

【活動報導】5G x Edge AI 創新智慧應用服務

當5G和AI這兩個最受矚目的明日之星結合後,將能迸發出什麼火花?本次Edge AI社聚邀請了兩位專家,和觀眾一起探討5G遇上AI後的無限可能。

【活動報導】AI助攻!機器視覺應用再升級

高速、高智慧的視覺檢測技術,在產線現代化中扮演了舉足輕重的地位,本次Edge AI社聚邀請兩位專家,帶領觀眾從技術層面與實際案例等不同角度切入,探討機器視覺在製造業領域的應用與發展。

【活動報導】打造高效、精準的AI安防監控

本次Edge AI社聚邀請到了智慧安防監控兩位專家,以自身的經驗與應用實例,向觀眾分享該如何訓練、優化AI安防監控,並應用在各種場域之中。

【活動報導】智慧零售:善用AI 掌握商機

智慧零售導入Edge AI和影像分析技術,可透過數據分析掌握消費者喜好、判斷人潮熱點,甚至能辨識口罩以幫助防疫。

【活動報導】智慧交通再升級 Edge AI輔助路況辨識

如何運用科技整合資訊,讓人們每一次移動都能更加便捷安全,是智慧交通的重要目標。本次社聚邀請專家帶領觀眾,一窺如何應用Edge AI制訂、規劃出有效的智慧交通管理系統。

【Edge AI】 智慧工廠再進化:從AGV到AMR

本次Edge AI社聚邀請兩位專家,以能自主決策的AMR自主移動機器人為主題,帶領觀眾了解並探討如何加速AMR的實務開發,滿足智慧工廠再進化的需求,並達成工業4.0的目標。

【Edge AI】影像辨識 Edge AI建置系統評估

Edge AI為AI應用的起點與落地之處,也與軟硬體整合息息相關,Edge AI研究會特邀請影像辨識專家,分享有關Edge AI建置系統環境規劃評估。

【Edge AI】AI輔助診斷系統打造精準醫療

本文將介紹利用AI科技,減輕醫療人員負擔及提高診斷準確度的「智慧醫療」應用實例。

【Edge AI】為防疫設計的身分辨識技術

2021年第一場Edge AI社聚,邀請到兩位人臉辨識的專家,針對人臉辨識技術和和防疫上的應用做了剖析分享。

【活動報導】OpenVINO™ x Edge AI創意應用競賽圓滿落幕

OpenVINO™為Intel推出的人工智慧加速開發工具,經過五週的充電課教學、實作,11/17(日)的Demo Day和決賽日,14組競賽團隊進行專案Pitch,並選出前三名和五名佳作。

【OpenVINO】Edge AI應用落地與開發實務論壇報導

10月24日的《OpenVINO™ 邊緣運算技術論壇》,一共邀請到四位講師分享人工智慧發展多年後,做到了哪些更貼近需求的應用,而非如科幻電影般的想像。

【活動報導】運用OpenVINO進入AI世界

由 Sertek 主辦、Intel 協辦的《OpenVINO 邊緣運算技術論壇》於 6/26(三)邀請四位講者分享 OpenVINO 工具包的技術特色及實際應用案例,帶領大家認識 OpenVINO,一同走進 AI 的視覺辨識殿堂。