法国ZML发布开源异构推理框架LLMD,支持NVIDIA、AMD与Apple Silicon协同运算

7月8日,法国AI初创公司ZML正式开源其新一代推理服务框架ZML/LLMD(Large Language Model Distributor),该框架原生支持英伟达、AMD及Apple Silicon等异构GPU硬件的统一调度与协同推理。

Meta首席AI科学家杨立昆(Yann LeCun)已公开转发推荐,评价其为“应对GPU供应紧张与厂商锁定问题的务实解决方案”。当前,AI工程团队普遍面临GPU资源紧缺挑战,不得不混合部署多品牌、跨代际的硬件设备;而主流推理框架往往绑定特定架构,难以高效统筹异构算力——ZML/LLMD正为此类基础设施瓶颈提供系统级解法。

通过抽象化硬件差异的统一调度层,ZML/LLMD使开发者仅需编写一次推理逻辑,即可在混合GPU集群中自动完成负载分配与协同执行,显著降低跨平台适配成本。业界分析认为,多芯片协同推理有望成为下一代AI基础设施的关键标准化方向。