Hugging Face Daily Papers·· 2 天前精选AI 评分47
FramePack-U:面向长视频理解的恒定内存帧打包框架
Elephant in the Fridge: Constant-Memory Frame Packing for Long Video Understanding
AI 导读
论文提出 FramePack-U,一个免训练、无需修改架构的帧打包框架,可在恒定内存开销下把任意长度视频压缩为固定大小的视觉表示,推理时直接接入现成 VLM。该方法按帧与文本提示的语义相似度打分,并以多样性驱动方式排序,再把选中的帧以不同分辨率打包进固定长度上下文窗口。
推荐理由
提出免训练、恒定内存的视频帧打包方法,可在推理时直接接入现有 VLM,并给出多基准的量化提升。
来源:Hugging Face Daily Papers · huggingface.co