追踪多模态 Agent、GUI Agent 和 Computer Use 相关研究。
Intelligence Timeline
论文针对长程计算机任务中现有数字代理难以处理复杂状态和验证的问题，提出StructAgent框架。通过统一因果结构实现状态管理与工作流验证，支持进度检查点、失败恢复及工具执行。实验在OSWorld-Verified和Minecraft中验证，显著提升Qwen3.5模型成功率，并实现开源SOTA。
Why it matters
解决长程任务中状态追踪与验证难题，提升数字代理可靠性。通用性设计适用于多环境，为多模态智能体提供结构化框架，推动复杂任务自动化发展。
本文提出 ScaleCUA 框架，旨在解决计算机使用智能体（CUA）在线强化学习中可验证数据稀缺和效率低下的瓶颈。通过 VeriGen 生成器，利用多智能体反馈循环和 Docker 交互生成 2.4 万 + 可验证任务。训练方面，提出 Frontier Sampling 优化样本效率，以及 Visual Context Segmentation 提升训练速度 2.83 倍。实验在 OSWorld 和 ScienceBoard 上达到 68.7% 和 54.0% 的新开源 SOTA。该研究为自动化数字工作流提供了高效可扩展的解决方案。
Why it matters
该研究解决了计算机使用智能体扩展中的核心瓶颈，通过可验证任务合成和高效训练策略，显著提升了模型在复杂 GUI 交互任务上的性能。其开源代码和模型为后续研究提供了重要基准，推动了多模态智能体在自动化数字工作流领域的实际应用。
针对统一多模态模型因视觉令牌爆炸导致长程对话受限的问题，提出认知结构多模态智能体。该智能体将视觉信息外化为情节视觉记忆，通过感知抽象引擎、认知检索引擎和多模态执行控制器实现结构化抽象与跨轮检索。开发统一场景引擎生成带细粒度检索标注的多轮对话，构建分层难度长程视觉对话基准。8B 模型在 20 轮会话中检索准确率 91.4%，超越 32B 基线并减半推理时间。提供 CMA-Harness 工具集。结构化记忆与模块化决策为长程多模态智能体提供更可扩展、高效的范式。
Why it matters
该研究通过认知结构解决多模态长程对话中的视觉令牌爆炸与检索不可靠问题，证明结构化记忆比单纯参数扩展更高效。提出的检索优化与工具集为构建可扩展、低延迟的多模态智能体提供了新范式，对提升智能体长期任务规划能力具有关键意义。