在 Intel® CPU 上優化和執行 LLaMA2

下載
791610
2023-10-24
Public

描述

在本白皮書中，我們將展示如何在 Intel® CPU 平臺上運行的 llama.cpp（一種開源 LLaMA 模型推理軟體）上執行特定于硬體平臺的優化，以提高 LLaMA2 LLM 模型的推理速度。