理解一句指令、看懂一幅画面之后，AI怎样进一步完成任务？
斯坦福大学计算机科学教授李飞飞等学者于2024年初发表的《Agent AI: Surveying the Horizons of Multimodal Interaction》（《Agent AI：多模态交互前沿综述》），将感知、知识、记忆、规划与行动联系起来，讨论能够与环境交互的人工智能。
这篇论文将语言、视觉、规划与控制等领域的研究放到同一框架中，探讨这些能力如何共同支持完整的任务执行。
理解之后，怎样把任务向前推进
语言模型能够理解指令、利用知识并生成计划，视觉语言模型能够识别对象、描述场景。这些能力提供了基础，但任务执行还需要判断当前状态、选择可执行的操作，并确认行动后的结果。
Agent AI关注的，就是能够接收视觉、语言及其他环境信息，并产生有意义行动的交互系统。环境既可以是物理世界，也可以是游戏、仿真和虚拟现实。
理解需要与环境状态、可执行动作和实际结果连接起来。机器人操作物体、游戏角色执行指令、系统调用工具或修改虚拟场景，都涉及这种联系。
这套框架从五个方面组织智能体的能力：
• 感知环境：接收视觉、语言等信息，识别当前场景，为任务规划提供依据。
• 学习策略：借助示范、奖励和反馈，学习在不同情境下选择合适的行动。
• 调用记忆：将已有知识和交互历史保存下来，在后续任务中检索使用。
• 形成行动：输出适合具体环境的动作或工具调用，将任务安排连接到操作。
• 认知推理：综合获得的信息进行理解与推理，为行动决策提供支持。
这些能力相互配合，使系统能够利用当前观察和过去经验安排下一步行动，并根据执行结果调整后续计划。
行动发生后，环境可能改变，操作也可能偏离预期。新的观察帮助系统判断下一步应该继续、调整，还是重新规划。
这种反馈关系在机器人任务中尤为重要。光照变化、物体形状差异和操作中的滑动，都可能影响结果。系统需要检查行动条件，也需要确认执行结果。
记忆帮助系统利用过去，反馈帮助系统认识刚刚发生的变化，两者共同支持多步任务。长期规划、记忆利用和环境适应，则仍需具体模型、数据和实验支撑。
知识丰富，也要看清眼前的情况
基础模型可能熟悉某类任务的常见步骤，却没有准确掌握眼前的状态；也可能给出流畅的场景描述，却遗漏关键对象或空间关系。这些偏差会继续影响规划和行动。
错误还可能在多个环节之间传播：前面的识别或描述出错，后续总结便可能沿用错误。
视频理解实验中有这样一段教学视频：一个人拿着扫帚柄，演示如何用它测量树的高度。AI需要描述视频里的人在做什么，并生成摘要。
实验先用GPT-4V把视频画面转成文字描述，再根据这些描述生成摘要。在这个过程中，系统把其中一段动作误写成了“咬住棍子”。生成摘要时，它又沿用了这条错误描述，把视频中并未发生的动作写进了总结。
随后，实验加入了Whisper转写的视频讲解。结合讲解与画面描述，系统更准确地描述了“将扫帚柄保持在与身体垂直的方向，再向下转动”等动作，也更好地呈现了测量树高的过程。
这个案例说明：画面描述本身可能出错，后续总结又可能放大错误；视频中的讲解能够补充上下文，帮助系统理解动作的含义。
信息互补也体现在知识使用中。模型参数保存着预训练获得的隐式知识，数据库、知识库及外部检索则提供可查询的显式知识。结合两者，有助于补充依据和更新的信息。
环境观察、外部知识、人类反馈与执行验证，都可以参与判断。但一组案例所展示的改进，不能直接推广为幻觉已经得到普遍解决。
让动作进入模型的学习范围
理解与行动可以通过多个系统模块连接，也可以进一步探索统一的模型表示。Agent Transformer提出的方向，是在视觉token和语言token之外，加入专门表示智能体行为的agent tokens。这里的token，是模型用于表示和处理信息的基本单元。
这些表示可以对应游戏控制、机器人操作，也可以对应图像生成、编辑工具或其他API调用。动作由此成为模型需要学习和预测的对象，与视觉、语言信息共同建模。
这一提案旨在加强感知与执行之间的联系，训练则有明确前提：定义任务目标、动作空间和成功标准。系统能做什么、操作怎样表示、结果如何评价，都需要在具体环境中确定。
学习行动有多种路径。强化学习通过奖励或惩罚调整策略，模仿学习利用专家示范，上下文学习则利用提示中的示例、历史与反馈改善输出。
根据反馈重新规划，与利用交互记录训练后续模型，发生在不同层面。前者调整当前任务中的行动安排，后者通过训练改进模型；收到反馈并不自动意味着模型参数已经更新。
从行动建议，到可以执行的操作
游戏实验呈现了规划与执行之间的距离。在GPT-4V的相关示例中，画面、目标和行动历史能够支持高层行动建议；鼠标移动等精确操作，则仍需要额外的底层控制能力。
MindAgent展示了一种系统实现方式：将游戏状态转换为结构化文本，由GPT-4充当中央规划器，结合记忆安排任务，再通过动作模块将输出转换为领域专用语言并验证。
模型负责决策，配套模块负责连接环境和执行指令。一个建议能否成为有效行动，取决于这些环节如何协作。
多智能体协作还有伙伴适应问题。固定团队可能在训练中形成默契，也可能过度依赖彼此的行为习惯。与人类或陌生智能体合作，需要适应不同的协作方式。
完整任务，是检验能力的尺度
从单个任务走向更广泛的环境，智能体需要跨越几类差异：
• 跨模态：同时覆盖视觉、语言与行动的大规模数据较难获得，不同信息之间需要有效对齐。
• 跨领域：不同场景有不同外观和动作空间，共享知识不意味着能够直接共享全部控制能力。
• 跨现实：仿真与真实世界在物理参数、光照和传感器噪声等方面存在差异，策略迁移需要适配。
持续改进也依赖数据质量。交互记录、人类偏好及基础模型生成的样本，都可以成为训练资源，但需要筛选和检验。表达风格或部分指令遵循能力的传递，不代表事实准确性和整体能力会完整转移。
评估因此需要对应具体目标：协作任务检查分工与效率，视频任务检验信息理解和推理，机器人任务确认动作结果和环境适应能力。偏见、隐私和现实部署风险，也要与能力开发共同考虑。
智能体的能力，需要放到完整任务中检验：行动是否产生了预期结果，失败能否被发现，后续调整是否有效。
《Agent AI》将感知、记忆、规划、行动与学习放在同一个交互过程中。理解这些能力如何配合，也就抓住了这篇论文关于多模态智能体的主要思路。
————————————————
本文依据 Zane Durante、李飞飞等学者于2024年初发表的《Agent AI: Surveying the Horizons of Multimodal Interaction》(arXiv:2401.03568v2)进行中文概括与解读。实验与能力边界均对应论文发表时的研究。正文示意图依据论文内容整理，非论文原图。