SpecEdge 阅读笔记:用边缘草稿分担大模型推理
从推测解码、主动草稿和多用户调度理解 SpecEdge 的边缘与服务器协作方式。
从推测解码、主动草稿和多用户调度理解 SpecEdge 的边缘与服务器协作方式。
区分即时奖励和长期价值,用一个机器人充电例子理解交互学习。
从步骤、层和 token 三个粒度理解 DICE 如何平衡通信等待与激活陈旧性。
引言 LLM模型的局限性 一般的语言模型,在生成文本方面表现出色,但其依赖于预训练的参数,无法动态获取外部知识。这意味着这些模型在处理实时信息、领域特定知识、罕见实体时表现不佳。例如当你询问“今天天气怎么样”,但模型只能给你去年的天气情况,这将毫无意义。在专业领域中,如医疗领域医生需要最新的研究数据、法律领域律师需要援引最新的法律条纹,这种局限显得尤为突出。 RAG模型 检索增强生成(Ret...
这是一份我在寻找2025年暑期数据开发实习时的复习笔记,主要包括数据开发的基础知识、常用工具和技术栈等内容。希望对你有所帮助。 SQL SQL(Structured Query Language)是一种用于管理关系型数据库的标准语言。 常用的SQL语句包括:SELECT、INSERT、UPDATE、DELETE、CREATE、DROP、ALTER等。 SQL的基本语法结构包括...
这是一份针对论文《Galaxy: A Resource-Efficient Collaborative Edge AI System for In-situ Transformer Inference》 的精读笔记。 Abstract Edge Computing 边缘任务,边缘计算等概念中的edge,指的是在用户或离数据源更近的设备上。主要是为了满足低延迟、减轻骨干网压力和保护隐私的作...
这是一份关于[Survival Analysis for Churn and Lifetime Value Databricks](https://www.databricks.com/solutions/accelerators/survival-analysis-for-churn-and-lifetime-value)的利用spark的复现报告。 01 ...