如何利用低位元量化技術進一步提升大模型推論性能
相比運算量的增加，大模型推論速度更容易受到記憶體頻寬的影響，導致算力資源無法得到充分發揮，進而影響性能；低位元量化技術是讓大語言模型(LLM)在部署過程中實現性能需求的最佳方案之一，本文將探討低位元量化技術如何幫助LLM提升性能，以及新版OpenVINO對於低位元量化技術的支援。
活用IPEX和Intel GPU加速大型語言模型訓練效率
以IPEX (Intel-Extension-for-PyTorch)搭配Intel硬體產品，可提供最佳化功能大幅提升運作效能。例如透過PyTorch的
Intel攜手生態系夥伴展示AI智慧醫療應用最新成果
英特爾(Intel)攜手24家合作夥伴於年度台灣醫療科技展(Healthcare+ EXPO 2023)共同展示基於最新AI技術的實際應用案例，並將與近300位來自東南亞、東北亞、歐洲、中東、美州的國際代表團專家互相交流分享，以及安排超過80場的商業媒合會議，促進台灣與國際合作機會，持續擴大智慧醫療推廣與應用。
利用Intel平台提升LLM微調與訓練效率：ResNet50+LoRA範例
本文將說明如何善用英特爾(Intel)所研發的新產品和相關技術，來提升AI模型的訓練效率，以便提供更優質的推論功能。為了循序漸進介紹上述的新產品及其相關的使用技術，本文先從大家熟悉ResNet50圖像分類模型做為起步範例，並搭配LoRA來進行外掛訓練，以便從這簡單範例中充分理解如何活用上述的創新產品及相關技術。
【創業小聚】2億元資金入袋、通過台美醫療認證，台灣骨王用一副眼鏡「翻轉手術房」
為了讓傷口變小，需要用X光機與外接螢幕來確認動刀的位置，但醫師的手、眼就必須分開作業，非常考驗協調性。為了解決這個問題，台灣骨王開發了一副智能眼鏡，以MR的方式讓醫師直接確認要動刀的位置與深度，宛如把鋼鐵人的眼鏡用在手術室內。