← 返回 PaperDaily AI与科研新闻

Runway开放机器人模型:先“想象”画面,再让机械臂动手

做视频生成的 Runway,把视频模型接到了机械臂上。它想解决的,是机器人研究里一笔很实在的账:让人遥控机器人采集示范,又慢又贵;互联网视频里,却早就有大量拿杯子、收桌子、折衣服的动作。

Runway开放机器人模型:先“想象”画面,再让机械臂动手

做视频生成的 Runway,把视频模型接到了机械臂上。它想解决的,是机器人研究里一笔很实在的账:让人遥控机器人采集示范,又慢又贵;互联网视频里,却早就有大量拿杯子、收桌子、折衣服的动作。

11月11日,Runway宣布开放机器人模型 Praxis-1 的权重,以及推理、完整微调和轻量微调代码。9月时它还主要向早期合作伙伴测试,这次进入了公开发布阶段。

它不只预测“下一秒画面长什么样”,还同时给出“机械臂该怎么动”。这件事值得看,不是因为又多了一个机器人演示,而是视频预训练积累的东西,正在变成开发者可以检查、适配的动作模型。

一、先想象结果,再算出动作

拿“把红色方块放进碗里”来说。模型接收任务指令、摄像头画面和机械臂当前姿态,预测接下来的一小段视频;另一个负责动作的模块,读取视频模型内部的特征,算出手臂位置、朝向和夹爪动作。

机器人执行这一小段动作后,再把摄像头实际看到的结果送回来,继续下一轮。它不是预先拍好一段成功视频,再让机器人照着演;“预测—行动—重新观察”是反复进行的。

Runway技术报告图1:视频主干与动作模块

视频主干、动作模块,以及指令与相机输入之间的连接。

报告中的常规动作片段为1.6秒,包含24行、每秒15次的动作指令。这样做的直觉不复杂:一次只往前看一小段,把刚才做完后的真实画面接回来,而不是只靠最初的一眼一路猜到底。

这里有个重要分工:视频主干负责学习物体和场景如何变化,动作模块负责把这些特征转换为机器人能执行的运动。换一种机械臂时,还需要对应的输入输出转换和适配,不能理解成下载一个文件,任何机器人就能直接开工。

二、这次真正开放了什么

这次公开发布包括单臂、双臂和基础模型等权重,以及模型推理、策略服务、仿真与微调相关代码。官方公告明确采用 Apache 2.0 许可,包含商业使用。

对机器人团队来说,最实际的变化是选择权:可以检查推理接口,按自己的相机、机械臂和任务做适配,也可以在自有硬件上规划部署,不必把动作控制完全绑定到一家托管服务。

但“开放”不等于“完整公开了从零训练的一切”。这里应准确理解为权重与相关运行、微调代码的开放,而不是训练数据和全部训练过程都已无保留披露。

仓库说明也显示,这不是一个轻量小插件。标准快速开始路线要求至少80GB显存的英伟达显卡;官方另外提供了把部分专家权重量化成低精度的路线,目标是降低显存负担。

三、46.2%:先看它在什么题目上拿分

Runway报告,在英伟达的机器人仿真测试集(RoboLab-120)里,Praxis-1完成了1200次试验中的555次,成功率约46.2%。这套评测包含120种桌面任务,每种做10次。

Runway技术报告图8:RoboLab-120各模型成功率

报告列出的世界动作模型与开放权重视觉语言动作模型成绩。

它在报告列出的世界动作模型和开放权重机器人基础模型中领先,但不是整个榜单所有系统的第一名。报告本身列出,还有闭源模型及直接调用前沿模型的智能体取得更高分,只是它们的训练条件、速度和运行方式不同。

这也解释了为什么不能把“分数高”和“动作快”混成一件事:一个系统可能愿意花很长时间想清楚,另一个系统则需要在机械臂动作还没过时之前,迅速给出下一段指令。

媒体标题里的“快15.6倍、成本降到1/51”,来自Runway在同一双臂工作站上,让Praxis-1与GPT-6 Astra完成拔笔帽、海绵装袋、骰子装袋三类任务的对比。速度统计成功回合,成本则把失败回合也计入;它不是所有机器人任务的统一结论,更不是通用智能的总排名。

四、最值得继续追的,是能否真正降低上手机会成本

视频预训练解决的是“先学到多少世界知识”,适配和部署解决的则是“这些知识能不能在我的机器人上用起来”。两笔账都得算。

以低精度运行来说,世界动作模型量化方法(QuantWAMs)对应的论文 QuantWAMs: Calibrating at the Right Granularity for World Action Models 提醒了一个关键问题:机器人会不断执行动作、接收新画面,不能只比较某一层网络计算得快不快,还要看一整段闭环任务是否做成。这项研究不是Praxis-1的实现依据,但说明了为什么压低显存之后,仍然要回到任务成功率。

Praxis-1的公告列出RTX 5090等运行目标。不过,当前仓库对相关低精度路径的说明是:权重加配套模块约占23.5GB,尚未实测32GB RTX 5090的峰值显存。“有面向消费级显卡的路线”,与“已经独立验证这张卡能稳定跑完任务”,是两件不同的事。

接下来最值得等的,不是一段更炫的混剪,而是不同团队在自己的场地里公布适配用了多少示范、连续做了多少回合、失败在哪里,以及实际显存和延迟是多少。

龙哥点评

我更看重这次从“合作伙伴能试”到“开发者拿得到”的变化。视频生成公司不再只是展示机器人未来可能怎么动,而是把这条路线变成了公开的研究和工程入口。

它也让一个问题变得更具体:未来训练机器人,究竟有多少经验可以先从普通视频里获得,哪些部分仍然必须靠真实机械臂反复试出来?如果前一部分越做越扎实,新团队进入机器人研究的门槛才可能真正下降。

成绩方面,本文引用的是Runway公开报告,不是我们的本地复现。报告仍把相似物体误抓、模糊指令和长任务列为难点。判断这条路线是否走通,最终要看公开后的跨团队结果,而不只看一次演示或三道速度题。

主要参考资料

11月11日公开发布公告

https://runway.com/news/company-news/praxis-1-is-now-available

技术报告及原始图表

https://runway.com/research/praxis-1-video-pretraining-to-robot-control

官方推理与微调仓库

https://github.com/runwayml/praxis-1-oss

中文媒体报道

https://www.ithome.com/1/026/104.htm

相关研究 QuantWAMs

https://arxiv.org/abs/2607.28405

本文据官方公告、公开技术报告、代码说明及相关报道整理;实验成绩按报告归因,未进行机器人本地复现。本文基于龙哥读论文PaperDaily数据库及PaperMiner的MCP进行汇总整理。

更多论文解读、公开证据评分与评分依据:https://www.longzhangge.com/PaperDaily?utm_source=wechat&utm_medium=article_footer&utm_campaign=paperdaily

end

转发文章 微博 X LinkedIn Facebook

读者留言

可直接以游客身份留言,也可注册读者账号。所有留言均需管理员审核后公开。

0 条已公开

还没有公开留言,欢迎留下你的看法。

游客可以直接留言;注册后可使用固定昵称和账号身份。 登录 免费注册
同一访问者每天最多提交 5 条。
龙哥读论文 · PaperDaily

本文基于龙哥读论文 PaperDaily 数据库整理,结合论文原文与工程视角进行解读。

LONGGE AI COMMUNITY

把每天读到的论文,变成长期积累

加入「龙哥读论文」知识星球,持续获取 AI 论文、资讯、开源项目、招聘与研究思路。

加入龙哥读论文微信群:添加微信 kangjinlonghelper,备注“研究方向 + 地点 + 学校/公司 + 昵称”。

龙哥读论文知识星球二维码 微信扫码加入知识星球