差不多已经掌握语言能力的大模型正在进军视觉领域,但具有里程碑意义的 GPT-4V 也仍有诸多不足之处,参阅《试过 GPT-4V 后,微软写了个 166 页的测评报告,业内人士:高级用户必读》。近日,微软 Azure AI 将 GPT-4V 与一些专用工具集成到一起,打造出了更强大的 MM-Vid,其不仅具备其它 LMM 的基本能力,还能分析长达一小时的长视频以及解说视频给视障人士听。
视频是一种多功能媒介,可以通过文本、视觉和音频等多种模态传递信息和内容。如果可以开发出能学习多模态数据的方法,就能帮助人们设计出具备强大能力的认知机器 —— 它不会受限于经过人工调整的数据集,而是可以分析原生态的真实世界视频。但是,在研究视频理解时,多模态这种丰富的表征会带来诸多挑战,尤其是当视频较长时。
理解长视频是很复杂的任务,需要能分析多个片段的图像和音频序列的先进方法。不仅如此,另一大挑战是提取不同来源的信息,比如分辨不同的说话人、识别人物以及保持叙述连贯性。此外,基于视频中的证据回答问题也需要深入理解视频的内容、语境和字幕。当分析的是直播或游戏视频时,还存在实时处理动态环境的难题,这需要语义理解和长期策略规划能力。
近段时间,大型预训练视频模型和视频 – 语言模型带来了巨大进步,它们在视频内容上的推理能力已经显现。但是,这些模型通常是用短视频片段训练的(比如 Kinetics 和 VATEX 中的 10 秒视频)或预定义了动作类别(Something-Something v1 有 174 类)。由此造成的后果是,这些模型可能难以详细理解真实世界视频的复杂微妙。
为了让模型能更全面地理解我们日常生活中遇到的视频,我们需要能解决这些复杂挑战的方法。
近日,微软 Azure AI 为这些问题给出了自己的解答:MM-Vid。该团队表示这种技术可以直接用于理解真实世界视频。简单来说,他们的方法涉及将长视频分解成连贯叙述,然后再利用这些生成的故事来分析视频。
-
论文地址:https://arxiv.org/pdf/2310.19773.pdf
-
项目地址:https://multimodal-vid.github.io/
MM-Vid 是近来处于 AI 社区关注中心的大型多模态模型(LMM)的新成员;而 LMM 中最具代表性的 GPT-4V 已经展现出了突破性的能力 —— 可以同时处理输入的图像和文本,执行多模态理解。为了实现视频理解,MM-Vid 将 GPT-4V 与一些专用工具集成到了一起,实验结果也证明了这种方法的有效性。图 1 展示了 MM-Vid 能够实现的多种能力。
MM-Vid 方法介绍
图 2 展示了 MM-Vid 系统的工作流程。MM-Vid 以视频文件为输入,输出一个描述该视频内容的脚本。这种生成的脚本让 LLM 可以实现多种视频理解能力。
MM-Vid 包含四个模块:多模态预处理、外部知识收集、视频片段层面的视频描述生成、脚本生成。
多模态预处理。对于输入的视频文件,预处理模块首先使用已有的 ASR 工具从视频中提取出转录文本。之后,将视频切分成多个短视频片段。此过程需要对视频帧进行均匀采样,使得每个片段由 10 帧组成。为了提升帧采样的整体质量,研究者使用了 PySceneDetect 等成熟的场景检测工具来帮助识别关键的场景边界。
外部知识收集。在 GPT-4V 的输入 prompt 中,研究者采用了集成外部知识的方法。该方法涉及收集可用的信息,比如视频的元数据、标题、摘要和人物面部照片。在实验中,研究者收集的元数据、标题和摘要来自 YouTube。
片段层面的视频描述生成。在多模态预处理阶段,输入视频会被切分为多个视频片段。每个片段通常包含 10 帧,研究者的做法是使用 GPT-4V 来为每个片段生成视频描述。通过将视频帧与相关的文本 prompt 一起输入到 GPT-4V 模型,便能得到捕获了这些帧中描绘的视觉元素、动作和事件的详细描述。
此外,研究者还探索了视觉 prompt 设计,即在 GPT-4V 的输入中不仅提供人物的名字,还提供人物的面部照片。实验结果表明这种视觉 prompt 设计有助于提升视频描述的质量,尤其有助于更准确地识别人物。
使用 LLM 生成脚本。在为每个视频片段生成描述之后,再使用 GPT-4 将这些片段层面的描述整合成一个连贯的脚本。该脚本是对整个视频的全面描述,可被 GPT-4 用于解决各种视频理解任务。
用于流输入的 MM-Vid
图 3 展示了用于流输入的 MM-Vid。
在这种情况下,MM-Vid 的运作模式是作为动态环境中的一个智能体(agent),其主要输入为流视频帧。该智能体会将持续输入的流视频帧视为状态,其代表了在该环境中不断揭示的持续性视觉信息。然后再由 GPT-4V 处理这些状态,从而得到有信息依据的决策并生成响应。
通过持续分析流视频帧,MM-Vid 可将原始视觉数据转换成有意义的见解,进而为视频游戏、具身智能体和 GUI 引导等应用提供有价值的帮助。
实验
实验设置
该团队实现的 MM-Vid 基于 MM-React 代码库。他们使用的自动语音识别(ASR)工具是通过 Azure Cognitive Services API 使用的公开可用工具,场景检测则是使用了 PySceneDetect。
MM-Vid 的功能
研究者在论文中展示了多个 MM-Vid 完整执行流程的示例。
下面是一个 MM-Vid 执行流程示例。
经过这些流程后,MM-Vid 生成的脚本总结了对视频内容的理解。从而让后续 LLM 可以基于此处理具体的任务。研究者讨论过的具体任务包括:有根据的问答、多模态推理、理解长达一小时的视频、多视频情景分析、人物识别、说话人识别、音频描述生成、自我调优、快速变化的短视频。具体详情请参阅原论文,但总体而言,MM-Vid 都展现出了很不错的效果。
研究者也评估了 MM-Vid 应用于流输入时的情况。MM-Vid 可作为交互式环境中的智能体,持续接收流视频帧输入。
具身智能体。下图展示了将 MM-Vid 应用于一段头戴式相机拍摄的第一人称视频的情况。这段视频来自 Ego4D 数据集,简单展示了拍摄者在家居环境中的日常生活。值得注意的是,MM-Vid 理解这种视频内容的能力得到了体现,并且还能辅助用户完成一些实际任务。
玩视频游戏。下面的视频示例是将 MM-Vid 用于视频游戏《超级玛丽》。实验中,智能体会持续地以三帧视频作为输入的状态,然后计算下一个可能的控制动作。结果表明,这个智能体能够理解这种特定的视频游戏动态,并能生成可以有效玩游戏的合理动作控制。
用户研究
研究者探索 MM-Vid 帮助盲人或弱视者的潜力。音频描述(AD)能在视频的音轨中增加音频叙述,这能提供主视频音轨中没有提供的重要视觉详情。这样的描述能为视觉障碍人士传达关键的视觉内容。
为了评估 MM-Vid 在生成音频描述方面的有效性,研究者进行了一场用户研究。他们邀请了 9 位参与者参与评估。其中 4 位参与者失明或视力低下,其余 5 名视力正常。所有参与者听力都正常。
在听 MM-Vid 生成的音频描述时,参与者提出的困难包括:1)音频描述与原始视频中的对话偶尔重叠,2)由于 GPT-4V 的幻觉问题而出现错误描述。尽管总体满意度有差异,但所有参与者都认同这一点:MM-Vid 生成的音频描述是一种成本高效且可扩展的解决方案。因此,对于无法被专业人士描述成音频的大量视频来说,就可以使用 MM-Vid 这样的工具来处理它们,从而造福视觉障碍社区。
![免费获取chatgpt](https://www.aicn.me/wp-content/uploads/2023/04/jiqidanao.png)