跳到正文
arXiv cs.SE· Shuncheng Jie, Desen Sun, Ri Hong, Yuyang Tian, Hong Zhang, Sihang Liu·· 2 小时前AI 评分36

SAKURA:面向手机端隐私图像编辑的注意力 KV 状态按带宽自适应传输方案

SAKURA: Serving Attention Key-Value State Under Rate Adaptation for Private Image Editing on Phones

AI 导读

SAKURA 是一个云边架构,在带宽预算下把可复用的注意力 KV 状态传到手机端,用于扩散 Transformer 图像编辑。它先用细粒度 token 重要性感知压缩在有限传输预算下保持画质,运行时按网络带宽为每个分片自适应选择缓存表示,并用流水线运行时把缓存传输与重建和端上执行重叠。

来源:arXiv cs.SE · arxiv.org