【新智元导读】老黄GTC重点展示的PD分离技术为何成兵家必争之地？UCSD全华人团队力作，创新性地提出预填充-解码分离技术。在严格的延迟约束下，相比现有最先进的服务系统，可实现高达4.48倍的有效产出率或10.2倍更严格的SLO达成率。

　　前有Mooncake/DeepSeek等公司采用这种技术来优化大模型的推理服务，后有Nvidia/PyTorch基于该技术孵化下一代LLM服务系统。

　　甚至最近，黄仁勋也在2025 GTC的舞台上提到了PD分离（Prefill-Decode Disaggregation）技术，进一步证明了这一技术获得的广泛关注。

　　去年，来自UCSD的一个华人团队发布的一篇博客，就深入剖析了这一技术的原理和它的应用场景。

　　例如，聊天机器人需要快速响应（比如低于0.2秒），而解码速度可以较为适中，仅需与人类阅读速度相匹配；代码补全则要求快速生成，以便实时提供代码建议。

　　作者提议使用「有效吞吐量」（goodput）作为大模型服务性能的改进衡量标准，它不仅关注每秒完成请求的数量，而且符合服务级目标（SLO），更好地平衡成本和用户体验。

　　为了提升有效吞吐量，文章提出了「预填充-解码分离」（prefill-decode disaggregation），即将预填充和解码分配到不同的GPU上。

　　通过这个方法，作者搭建了一个系统原型DistServe，在保持严格的延迟约束下，达到了比现有系统高出4.48倍的有效吞吐量，或者10.2倍更严格的SLO。

　　为了降低成本，很多公司专注于提升LLM系统的吞吐量，即每秒处理的请求数（rps），作为每个请求成本（$/req）的替代指标。

　　大多数流行的LLM服务引擎，如vLLM和TensorRT-LLM，都用吞吐量来衡量性能。

　　然而，实际应用对延迟的要求各不相同，因此服务级目标（SLO）也不同。常见的SLO包括：

　　冬天的早晨很冷，有的同学怕冷贪床，舍不得钻出温暖的被窝，宁愿多待一分钟，也不愿早起三十秒。逃避课间操，甚至逃避上体育课，在寒冷面前选择了怯懦，这就需要我们克服畏难情绪，勇敢一点，积极参加锻炼，体育课活动课走出教室，到操场上去，参加各种体育运动，对我们来说，不仅可以收获健康，还会有更充沛的精力来面对学习。

　　03月12日,做好“链”上文章 链博会“链通”全球 展现中国经济独特“魅力”,

　　诸如此例，这些恶劣的行为令人发指。我希望有关职能部门要采取有力措施，制止破坏环境卫生的事情发生;在这个问题上重在教育大人们。大人们的环境意识增强了，就会影响和教育好孩子;这样代代相传，从个人到家庭，从家庭到区域，从区域到社会。从小时扩展到大的保护环境，长期坚持不懈地做下去，并且每一个人都要行动起来，加入保护环境的行列，这样一个美丽温馨的自然环境将会离我们不远了。

　　3、设备管理存在较大的漏洞，一些设备维修周期较长，各类小设备经常停产维修，给生产制造带来了很大的不便。除了设备的正常损耗外，最主要的原因是操作人员使用不当造成的，不会操作、违章操作。

　　“它难道发生了某种蜕变，才刚挣脱出来？被泥浆裹住，最少被封一两年了吧。”石昊露出惊异的神色。

　　小不点不语开元综合体育，只是盯着他们看，而后转头望向一群强者，对来自云天宫的老人开口，道：“请爷爷见证与评判，看一看我们孰弱孰强。”

　　新闻信息服务许可证音像制品出版许可证广播电视节目制作经营许可证网络视听许可证网络文化经营许可证开元ky体育开元ky体育开元ky体育