如何利用低位元量化技術進一步提升大模型推論性能
相比運算量的增加，大模型推論速度更容易受到記憶體頻寬的影響，導致算力資源無法得到充分發揮，進而影響性能；低位元量化技術是讓大語言模型(LLM)在部署過程中實現性能需求的最佳方案之一，本文將探討低位元量化技術如何幫助LLM提升性能，以及新版OpenVINO對於低位元量化技術的支援。
Intel攜手生態系夥伴展示AI智慧醫療應用最新成果
英特爾(Intel)攜手24家合作夥伴於年度台灣醫療科技展(Healthcare+ EXPO 2023)共同展示基於最新AI技術的實際應用案例，並將與近300位來自東南亞、東北亞、歐洲、中東、美州的國際代表團專家互相交流分享，以及安排超過80場的商業媒合會議，促進台灣與國際合作機會，持續擴大智慧醫療推廣與應用。
OpenVINO 2023.2版本發佈：讓生成式AI在實際場景中更易用
OpenVINO發佈最新2023.2版本了！與之前的版本一樣，在提高性能、增加對新AI模型的支援，以及構建基礎設施和模型快取等不同元件方面都有重大改進，除了並導入在CPU和整合顯卡上運作權重量化為int8和int4精度的LLM的能力，也更新了模型轉換和最佳化工具；OpenVINO產品架構師Yury Gorbachev將在本文詳細介紹新版本的優勢。
一步到位：利用OpenVINO實現LCM高速影像生成
最近橫空出世的潛在一致性模型(LCM)讓文生圖模型的圖片急速生成變成可能。LCM可以在任何預訓練的潛在擴散模型上進行快速推斷、步驟最少，包括穩定擴散模型(Stable Diffusion)。用OpenVINO也能對充滿魔力的LCM文生圖模型進行完全的最佳化、壓縮以及推理加速、快速部署的支援！
AI視覺「看見」美好未來 廠商分享成功落地經驗
在日前一場由處理器大廠英特爾(Intel)代理商夥伴──電子零組件通路業者建智(Sertek)主辦的「Visual to AIGC智慧應用落地部署實務論壇」技術研討會，邀請到來自不同領域的專業廠商分享在部署邊緣AI視覺應用的成功案例。
以AI進行無人機巡檢河川地貌分析
由於工業科技快速發展，環境議題一直備受討論與重視；近幾年，由於邊緣運算、AI、硬體加速與無人機等技術趨於成熟，公民營機構－－尤以公部門為首－－開始思考是否能借助科技的力量來進行環境工程，本文即以AI物件分割技術作為技術基礎，配合台中市環保局河川揚塵防治計畫進行河床地貌影像分割。