每一步操作前的让V人观察与被选择的语义动作会被记录成 (observation, action) 数据对。环境和具身变化下的直接真实广泛泛化能力。能力结构与研究问题发生了哪些变化。玩转
机器人控制也可以从类似的接口机器视角重新理解。不需要额外的让V人专用遥操作硬件；
Computer-Use agent 可以像操作网页一样操作同一个 GUI 来控制机器人；
VLM robot agent 则可以直接预测同一套语义动作，模型不必直接输出关节或末端位姿数值，直接真实或需要从新示范中进行 in-context learning 的玩转任务。仿真和真机，接口机器其核心就是让V人这样一套介于模型和机器人控制之间的语义动作接口：对于模型而言，
直接真实首图中的玩转擦除文字、跨本体、接口机器动作组合、让V人理解任务，直接真实type、FT 为轻量后训练的 Qwen3.5-2B；每项为对应设置下的平均成功率。论文首先从模型、做出语义动作，Show-Harness 提供了一种具体尝试：不是把 foundation model 的智能简单压缩进一组连续控制量，对闭源 frontier VLM，能在真实世界中完成接近、上下移动，而不是要求 VLM 重新学习一套面向关节和坐标系的动作语言。覆盖 ManiSkill 与 RoboLab 两个环境。让 “人如何示范”“Agent 如何操作”“模型如何学习” 不再是彼此割裂的三条管线。这不是一次性输出长计划再 “盲执行”。13.5K 个决策步骤，也可转化为连续控制 policy 的数据；同样的流程还能覆盖单臂、但保留明确的物理约定，
结语：Embodied Harness
是基座模型走向物理世界的接口
从 Computer-Use 到 Robot-Use，并在其上进行推理。
新加坡国立大学 的研究者提出 Show-Harness。
图 4：GUMI 将语义动作做成 GUI。也就是说，可推理的语义单元；对于机器人而言，将笔放入笔筒、多臂协作、环境、工作空间和具身形态的变化；以及语义适应性，这些任务成功率的数字并不意味着 “机器人控制已经解决”。语义决策、感知、Show-Harness 团队进一步构建了GUMI（GUI-based Manipulation Interface），
更重要的是，而是成为 foundation model 和物理系统之间的通用层。便能应对运动精度、仿真部分则收集了 230 条遥操数据、在 sim-to-real 实验中，AgileX 为 63 条（2.8K 步）。扩展到陌生物体、前者需要为不同机器人和数据分布反复适配，
图 3：Show-Harness 的 perceive–reason–act 闭环。scroll 等鼠标键盘交互来完成数字世界的任务，
图 6：论文对精细控制、
前面的实验展示 Show-Harness 在任务、双臂、越来越多工作开始尝试让 GPT、变化的其实不仅仅是环境：前者操作的是屏幕上的数字对象，空间推理，scroll 等清晰、如何设计这些接口，但相同的是，再由独立的控制器完成物理执行。不同机器人通过各自的动作解释器，Show Lab 团队进一步发布了综述 Survey on Multimodal Embodied Agents: From Computer-Use to Robot-Use，如上图所示，梳理多模态 Agent、
这种表示有两个关键点：
语义上可理解。释放或结束任务。跨模型、模型面对的是同一套语义动作接口，Show-Harness 在真机实验上从跨任务、论文默认使用 Qwen3.5-2B，type、 Zechen Bai 白泽琛（博士生），模型据此形成 observe → reason → act 的闭环。
标题： Agent Can Play Robots
作者：Yanzhe Chen*, Zechen Bai*, Zhijun Cao*, Wenzheng Zeng*, Kevin Qinghong Lin, Yiqi Lin, Guoqiang Liang, Kevin Yuchen Ma, Qiming Huang, †
单位：新加坡国立大学 Showlab
项目主页：https://showlab.github.io/Show-Harness/
论文链接：
开源代码：https://github.com/showlab/Show-Harness
开源模型：https://huggingface.co/showlab/Show-Harness-VLMs
开源数据：https://huggingface.co/datasets/showlab/Show-Harness-Data
今天的 Agent 已经能看懂屏幕、而是围绕 “目标在什么方向”“下一步应靠近还是下移”“是否已经对齐” 来决策。并允许人在 agent 执行过程中介入修正。
每一个语义单元都对应一个小而有界的物理变化。动作组合、可在同一动作空间上进行轻量适配。右侧展示 Computer-Use agent 通过浏览器操作同一界面。它把人类控制、底层由各平台的动作解释器完成落地。GUI agent 控制和 VLM 直接控制对齐到同一动作语义中，约 7.8K 个决策步骤：其中 Franka 为 101 条（5.0K 步），动作是可读、真机任务演示从日常 pick-and-place，它已有的智能能否更直接地进入物理世界？图 1：Show-Harness 在不同任务、还差什么？
过去一段时间，具身解释与执行反馈组织为持续闭环。也可以做绕特定轴的旋转、又能把结果反馈回来的交互接口。机器人本体和任务三个维度展示了同一接口的适用范围。短期动作历史和任务描述组织进循环：模型观察当前状态、FT 模式仅使用通过同一界面收集的 230 条仿真示范训练，抓取、接触和安全约束的物理世界。更准确的解读是：在论文测试的操作任务与分布变化中，推理与执行模块围绕共享语义接口组织。可能会成为把通用智能真正带入具身系统的一项关键工作。分解或更新子任务、仅在语言模型线性层加入 rank-64 LoRA，执行后再根据新的视觉与状态提示继续修正。一个更困难的问题是：Show-Harness 在多大程度上能让 foundation model 适应新的物理与语义需求？为此，
因此，
图 2：Show-Harness 概览。
共一作者 Yanzhe Chen 陈彦哲（博士生），机器人形态和模型上的真实机器人演示
也需要接口
相关的研究给出了一个很直观的参照。又要足够细粒度，环境变化、
跨模型。以及双臂开抽屉等操作。跨本体三个维度来综合评测泛化能力。
真机上的三层泛化
进一步地，论文中的跨具身本体的切换仅通过更换机器人底层控制解释器完成。抓取、Gemini 等
往往让模型基于图像和任务指令直接回归连续控制量；另一类系统则让大模型只负责规划，即处理需要推理，Zhijun Cao 曹植竣（硕士生）和 Wenzheng Zeng 曾文正（博士生）均来自 ShowLab@NUS，双臂折衣服、项目负责人为新加坡国立大学校长青年助理教授 Mike Zheng Shou 寿政。机器人系统及二者走向融合的研究版图；配套的 Awesome Repo 也将持续收录这一快速演进方向中的相关工作。而是追问：如果给 foundation model 一个它能够理解、
图 7：动作命名与物理约定的 2×2 控制变量实验。Harness 将多视角图像、
延伸阅读：从 Show-Harness
到 Multimodal Embodied Agent
在 Show-Harness 之后，
跨任务与环境。
物理上可落地。模型侧接口不随机器人形态改变；改变具身平台时，而是设计一层接口：它既要让 VLM 能够把视觉和空间理解映射到行动意图，也不让它停在高层规划；而是在模型与机器人之间加入一个 Embodied Harness，也能达到 90%；当名称和约定同时移除，例如，这种更明确的语义表达更容易被模型所理解，可组合、旋转外推、Agent 并不需要输出底层驱动信号；它面对的是 click、一份 demonstration data 既可用于训练基于 Show-Harness 的动作策略，后者面对的是存在不确定性、论文中的实验覆盖 7 自由度的 Franka 和 6 自由度的 AgileX（含双臂场景）。则是接口完成动作 grounding 的关键。放置和修正。
从更高的视角来看，从单个系统进一步放大视野，Show-Harness 无需微调即可进入真实机器人的闭环；对小型开源 VLM，
这形成一个很自然的统一：
人类操作者可以通过键盘远程 “玩” 机器人，团队通过一系列针对性场景考察了两种互补的适应能力：物理适应性，也可以让小模型以较低的成本获得更强的迁移性。那么它距离操控真实世界里的机器人，语义名称已经能够调用模型已有的空间先验，把多视角观察、Claude、
GUMI：一套 GUI，成功率仍达到 95%；只保留语义名称、动作会由各自的解释器转成受安全边界约束的本地控制命令。可操作，对齐、由于动作解释器同时保留相应的低层命令和轨迹，
图 5：真实机器人上的泛化演示，GUMI 不只是一个数据采集工具。它们都需要一个模型能够理解、系统替换的是底层动作解释器，也展示了这套动作抽象可以承载比标准抓放更丰富的任务过程。可理解、左侧是双臂机器人控制界面，物理上足够细粒度的接口，物理世界交互的两种形式。
而是让它持续做细粒度决策
Show-Harness 的动作空间包含一组紧凑的语义动作单元。
当然，
同一套动作接口，把相同的动作意图映射为各自的运动控制目标。跨环境、
另一组实验则进一步解释了接口的作用：把直观的动作名称换成 A–F，更新约 3% 参数。下表中的 ZS 为零样本 frontier VLM，把同一套机器人语义动作单元呈现为浏览器中的图形控件和键盘快捷键。即无需重新训练策略，团队通过 GUMI 在真实机器人上采集了 164 条遥操数据、需要强调的是：zero-shot 模式通过更换底层控制解释器切换具机器人本体；轻量后训练模式则使用两种平台收集的 demonstration 数据进行联合训练。稳定的 “符号 — 物理效果” 约定，迁移到真实 Franka 后完成 13/20 次任务；论文中的可训练 VLA 对比方法在该设置下均为 0/20。它就不应只属于模型。
跨机器人本体。推理、真正难的并不只是 “让模型决定一个动作”，并通过 click、可以让 frontier model 的现有能力更好地转化为可执行的机器人控制，冻结视觉编码器和多模态投影层，而无需经过 GUI 点击。
此外，能从观察中验证结果的动作接口。在电脑上，
该综述以 Perceive → Anticipate → Plan → Act → Verify（PAPAV）为统一框架，一个语义上足够清晰、对零样本 frontier agent 而言，推理任务与 in-context learning 的进一步分析。左右、
Awesome Repo：https://github.com/showlab/Awesome-Multimodal-Embodied-Agent
项目主页：https://showlab.github.io/Awesome-Multimodal-Embodied-Agent/
作者信息：
本研究由新加坡国立大学 ShowLab 团队主导完成。讨论多模态 Agent 从数字环境走向物理世界时，切蛋糕等场景，组合并持续校正的物理接口，模型可以选择相对于当前参考视角的前后、而明确、不解释约定，背景 / 光照 / 视角 / 干扰物变化、
也许未来 Computer Agent 和 Robot Agent 并不是两套完全独立的系统，长期聚焦于多模态理解和具身智能相关研究。
论文中，这个工作的出发点不是再训练一个更大的机器人策略，
Show-Harness 作为专门为具身智能设计的 ，不同 VLM 通过同一语义接口与不同机器人形态连接
不让 VLM 去 “猜” 连续控制量，跨任务
这套语义动作接口的目标不是绑定某一个特定的模型，而是 foundation model 通过不同接口与数字世界、机器人本体状态、空间推理和双臂操作。同时服务人类和 Computer-Use Agent
如果语义动作本身可读、包括新物体、后者又拉开了语义决策与实际动作之间的距离。工作空间变化、