Meta推出的LAVE是一款由华人作者主导、基于LLM的智能视频剪辑工具，通过语言增强和Agent协作实现自动化剪辑，支持自由指令交互与双重操作模式，显著降低手动操作门槛并提升创作灵活性。一、核心功能与技术实现语言增强视频库视觉叙述生成：利用视觉语言模型（VLM）自动为视频片段生成语义标题和摘要，例如标注“日落海滩”或“人物对话场景”，帮助用户快速理解内容。语义检索：支持自然语言查询（如“寻找包含宠物的片段”），通过向量数据库匹配相关视频，并按相关性排序显示结果。索引与概览：每个视频片段显示标题、时长及摘要，辅助用户构建故事情节框架。视频剪辑时间轴剪辑排序：提供两种模式：智能排序：通过LLM的故事板功能自动分析视频内容逻辑，生成连贯的叙事顺序。手动排序：用户直接拖放视频框调整顺序，满足个性化需求。剪辑修剪：双击时间轴中的片段弹出缩略图窗口（显示开始、中间、结束帧），用户可精准选择关键帧进行裁剪。视频剪辑智能体自由指令交互：用户以自然语言提出需求（如“将开头3秒替换为更欢快的片段”），智能体解析指令并规划操作流程。双重状态设计：规划阶段：智能体生成操作方案并提交用户审核，确保可控性。执行阶段：自动调用后端函数（如检索、修剪）完成任务。辅助功能：包括创意头脑风暴（生成剪辑建议）、素材概述（分析视频库内容）等。二、系统架构与后端支持后端Pipeline规划生成：基于用户输入创建行动序列（如“检索片段→排序→修剪”）。函数调用：将文本规划转换为可执行函数（如调用视频检索API）。执行反馈：实时更新视频库和时间轴状态，支持用户中途修改指令。LLM驱动功能五种核心功能：素材概述：自动分析视频库内容并生成摘要。创意头脑风暴：根据用户目标提供剪辑思路（如“制作旅行vlog的开头”）。视频检索：通过语义匹配快速定位素材。故事板：生成剪辑顺序的视觉化预览。剪辑修剪：精准裁剪片段时长。技术实现：除视频检索依赖向量数据库外，其余功能均通过LLM提示工程（Prompt Engineering）完成。三、用户研究与效果验证参与者：8名用户（含剪辑新手与老手）。结果：用户可快速上手并制作出满意作品，尤其认可智能体的概念化辅助（如头脑风暴）和操作简化能力。双重模式（智能体协助+直接操作）获好评，用户能根据需求灵活切换（如新手依赖智能体，老手偏好手动调整）。局限性：复杂场景下（如多轨道剪辑）仍需进一步优化。四、研究团队与华人贡献团队构成：六位作者中五位为华人，包括一作Bryan Wang（多伦多大学博士生）、Meta研究科学家Yuliang Li等。研究意义：提出“以语言为中心的视频剪辑范式”，推动AI从工具向协作者角色转变，为个性化剪辑提供新思路。五、对比传统工具的优势操作门槛：传统工具需手动完成检索、排序、修剪等步骤，LAVE通过自然语言指令自动化流程。上下文支持：传统工具缺乏对用户意图的理解，LAVE利用视觉叙述和LLM实现个性化辅助。灵活性：LAVE允许用户跳过构思阶段直接编辑，或结合智能体建议优化作品。总结：LAVE通过整合LLM与VLM技术，在视频剪辑领域实现了从“手动操作”到“语言驱动”的范式转变，其双重模式设计和华人团队的深度参与使其成为AI协作剪辑的重要突破。未来研究可进一步拓展多模态交互（如语音指令）和复杂场景支持。