各位朋友，今天聊个实在的推理加速方案——DeepSeek和北大刚开源的DSpark。它主要解决了两个痛点。第一是草稿不准：传统并行生成，块末尾的token错误率高。DSpark用了半自回归架构，在并行计算时加了个轻量级顺序模块，让草稿质量大幅提升。第二是验证死板：以前不管难不难，每次都固定验证一长串，浪费算力。DSpark引入了置信度调度，模型会给每个候选token打分，系统根据这个分数动态调整验
0:57
各位朋友，今天聊个实在的推理加速方案——DeepSeek和北大刚开源的DSpark。它主要解决了两个痛点。第一是草稿不准：传统并行生成，块末尾的token错误率高。DSpark用了半自回归架构，在并行计算时加了个轻量级顺序模块，让草稿质量大幅提升。第二是验证死板：以前不管难不难，每次都固定验证一长串，浪费算力。DSpark引入了置信度调度，模型会给每个候选token打分，系统根据这个分数动态调整验
2 weeks ago
douyin.com海晏清的阳光海洋
See more
Static thumbnail place holder
You may also want to search