新電子科技 6月號/2024 第459期

邊緣GAI成真
生成式人工智慧(AI)技術及大型語言模型(LLM)逐步往終端應用拓展，然而在邊緣端導入生成式AI技術，需要克服硬體效能、模型參數量及功耗帶來的挑戰。大型AI模型的訓練與推論仰賴大量的參數，以得出精準的結果。然而終端裝置的記憶體容量、處理器效能及能源有限。因此針對生成式AI在邊緣端應用的處理器設計，必須考量產品在效能、可處理的參數量及功耗方面，如何取得最佳平衡。
面對快速成長的邊緣AI應用市場，廠商推出的AI加速器、異質運算平台或MCU解決方案，持續為生成式AI走向終端鋪路。在終端設備資源有限的前提下，LLM需要透過量化(Quantization)等方式壓縮模型，並且確保推論維持一定的精準度。同時處理器廠商在CPU中導入AI引擎，也透過整合CPU、GPU與神經處理單元(NPU)，提高AI裝置的效能，並且降低功耗。AI PC與AI手機陸續問世，也受到市場高度關注。

■主題探索
突破模型瘦身/精準度瓶頸 生成式AI落地邊緣幹大事
CPU/GPU/NPU各有所長 異質運算實現邊緣LLM 
搶食邊緣AI商機 小語言模型有大用

■技術解密
DDR5/HBM3加值邊緣運算 AI PC大舉導入高速記憶體
紅外線LayerRelease精準剝離特定區域 晶圓接合/薄膜轉移助製程微縮
智慧運用L1/L5訊號最佳位置手到擒來 雙頻GNSS提升車載定位精度
結合GPS與星座架構 低軌衛星定軌精確又迅速
定向FAST/ORB快又有效 快速特徵偵測建構SLAM視覺
應對系統與應用需求 IoT開發8/32bit MCU各自精彩
聯網系統降低木材加工污染 智慧監測守護工廠環境安全

■市場透視
聽覺體驗邁入全新境界 AI/LE Audio玩轉音訊新可能
國科會團隊打造本土LLM 百工百業擁抱生成式AI 
台廠關鍵零組件研發鴨子划水 太空經濟乘低軌衛星一飛沖天
AI能力成差異化關鍵 Wi-Fi 7晶片布局各有盤算
全球減碳商機持續發酵 東南亞成電動車兵家必爭之地
法案規範/科技發展相得益彰 AEB力保汽車/行人安全

新電子科技雜誌於1986年創刊，以台灣資訊電子上下游產業的訊息橋樑自居，提供國際與國內電子產業重點資訊，以利產業界人士掌握自有競爭力。雜誌內容徹底執行各專欄內容品質，透過讀者回函瞭解讀者意見，調整方向以專業豐富的內容建立特色；定期舉辦研討會、座談會、透過產業廠商的參與度，樹立專業形象；透過網際網路豐富資訊的提供，資訊擴及華人世界。更多資訊請參考：http://www.mem.com.tw