河南
快科技6月11日消息，AMD主導(dǎo)開(kāi)發(fā)的開(kāi)源本地AI服務(wù)器解決方案Lemonade發(fā)布了10.7版本，正式集成NVIDIA CUDA后端，首次實(shí)現(xiàn)對(duì)NVIDIA GPU的完整本地AI推理適配。
Lemonade此前已廣泛支持AMD Ryzen AI NPU、Radeon/Instinct GPU、x86_64 CPU及Apple Metal GPU，唯獨(dú)缺失對(duì)NVIDIA產(chǎn)品的專(zhuān)門(mén)優(yōu)化。
此次10.7版本在Windows與Linux雙平臺(tái)上同步集成Llama.cpp的CUDA后端，配合NVIDIA GPU檢測(cè)功能，用戶(hù)可在NVIDIA硬件上獲得與AMD硬件一致的本地AI體驗(yàn)。
該項(xiàng)目還首次在Linux上加入stable-diffusion.cpp的CUDA后端，同時(shí)帶來(lái)跨廠商的Vulkan擴(kuò)展支持，進(jìn)一步拓寬了GPU適配范圍。
本次更新還帶來(lái)Lemonade產(chǎn)品路線(xiàn)中的重要工具lemonade bench，專(zhuān)用于在Llama.cpp、FastFlowLM、vLLM、Ryzen AI等多后端之間進(jìn)行端到端的LLM推理性能對(duì)比，降低開(kāi)發(fā)者測(cè)試門(mén)檻。
除此之外，LMX-Omni模型支持、原生Prometheus實(shí)時(shí)監(jiān)控端點(diǎn)等增強(qiáng)功能一同上線(xiàn)，穩(wěn)步推進(jìn)Lemonade向全場(chǎng)景本地AI引擎演進(jìn)。
值得關(guān)注的是，本次CUDA后端的合并是由外部開(kāi)發(fā)者提交，最終由AMD官方合并進(jìn)主線(xiàn)，標(biāo)志著AMD向跨廠商AI生態(tài)邁出了重要一步。
AMD Lemonade項(xiàng)目持續(xù)在GitHub發(fā)布開(kāi)源版本，目前10.7已可通過(guò)項(xiàng)目主頁(yè)下載體驗(yàn)，開(kāi)發(fā)者可根據(jù)硬件需求選擇適當(dāng)后端組合，實(shí)現(xiàn)從云端API到本地部署的平滑過(guò)渡。
特別聲明：以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶(hù)上傳并發(fā)布，本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
