跳到正文
Hugging Face Daily Papers·· 1 天前AI 评分29

CodeCap-Bench:代码能否成为好的视频描述?

CodeCap-Bench: Can Code Serve as a Good Video Caption?

AI 导读

研究提出用可执行代码作为视频内容的补充表示,在问答与视频重建任务上,代码描述比自然语言描述取得更高的推理准确率和重建保真度。为评估多模态大模型能否生成忠实的代码描述,团队构建了 CodeCap-Bench,包含 323 个视频、覆盖五类结构化 2D 内容,并配有细粒度标注和多级评测框架。实验显示领先的闭源 MLLM 已展现一定代码描述能力,但仍难以忠实捕捉复杂时序动态,开源模型明显落后。

来源:Hugging Face Daily Papers · huggingface.co