在設備上分散生成式 AI （GenAI） 推斷 — 白皮書

描述

讓 AI 推斷更接近數據源，在成本、隱私和性能方面具有顯著優勢。輕量級 GenAI 模型（即 1-8B 參數）的最新進展為將 GenAI 部署從雲端轉移到邊緣提供了顛覆性的機會，但基於雲端的 GenAI 的替代方案需要實用且高效。這份白皮書概述了一種策略方法，利用 CPU-GPU-NPU（例如 Intel® Core™ Ultra 處理器、Intel® Arc™ GPU）和開放原始 GenAI 模型的內建運算加速，將 GenAI 部署從雲端原生（即基於 GPU）解決方案轉變為邊緣（即硬體型）解決方案。裝置端部署降低了總體擁有成本（TCO）、離線功能、數據主權並減少了延遲，使得強大的GenAI模型可在以前可能面臨部署障礙的地區和部門之間訪問。