跳到正文
Hugging Face Daily Papers·· 2 天前精选AI 评分47

FramePack-U:面向长视频理解的恒定内存帧打包框架

Elephant in the Fridge: Constant-Memory Frame Packing for Long Video Understanding

AI 导读

论文提出 FramePack-U,一个免训练、无需修改架构的帧打包框架,可在恒定内存开销下把任意长度视频压缩为固定大小的视觉表示,推理时直接接入现成 VLM。该方法按帧与文本提示的语义相似度打分,并以多样性驱动方式排序,再把选中的帧以不同分辨率打包进固定长度上下文窗口。

推荐理由

提出免训练、恒定内存的视频帧打包方法,可在推理时直接接入现有 VLM,并给出多基准的量化提升。

来源:Hugging Face Daily Papers · huggingface.co