扩散语言模型:连续、离散与块级生成
比较自回归与去噪式文本生成,区分连续嵌入扩散、掩码扩散和块级混合方案。
比较自回归与去噪式文本生成,区分连续嵌入扩散、掩码扩散和块级混合方案。
从语言、接口文件与测试层次理解工具反馈如何帮助发现生成代码中的问题。
从请求生命周期理解动态批处理、长短请求、公平性和预填充解耦。
区分向量重建误差与内积误差,理解随机旋转为什么有助于在线量化。
用逻辑块与物理块的映射理解显存碎片、动态分配与前缀共享。
理解不落盘完整注意力矩阵的计算方式,以及在线 Softmax 如何跨块合并。
理解量化如何压缩权重,以及 LLM.int8、SmoothQuant、GPTQ 分别处理什么问题。
从推测解码、主动草稿和多用户调度理解 SpecEdge 的边缘与服务器协作方式。
区分即时奖励和长期价值,用一个机器人充电例子理解交互学习。
从步骤、层和 token 三个粒度理解 DICE 如何平衡通信等待与激活陈旧性。