PerfXLM
PerfXLM
高效、大规模的推理引擎,深度适配DeepSeek全系列架构,支持异构硬件、多卡并行及一键部署。

产品架构简介

多优融合,打造大模型推理超强引擎
云端一体
同时支持云侧和端侧模型推理。
定制化算子
针对大模型推理特点定制优化。
多异构平台
支持GPU和CPU等多种硬件设备。
DeepSeek支持
全面支持DeepSeek-R1系列蒸馏模型
化解模型应用难题,加速 AI 落地
模型资源占用高
凭借多种模型参数量化、高效注意力键值内存管理及集成高性能算子,极大提升了DeepSeek-R1等模型运行效率。
模型和硬件适配复杂
创新三层架构,统一模型表达、算子 API 定义, 已在主流国产卡上完成DeepSeek-R1等模型的适配。
模型集成复杂问题
提供了兼容 Torch、HuggingFace 等多主流框架的 API,极大地简化了 DeepSeek-R1 系列模型的集成工作。
加入我们,开启算力时代