南洋理工大学机器人触觉综述：53篇论文梳理感知到控制全链路

龙哥导读

机器人隔着摄像头看世界时，杯子、插孔和布料都很清楚；可一旦真正碰上去，最要命的信息突然变成了“碰在哪里、用了多大力、有没有打滑、下一毫秒该不该停”。南洋理工大学等机构的这篇综述系统编码53篇工作，把分散的触觉、腕部力觉、关节扭矩、策略学习与底层控制接成一条链。它最有价值的地方不是宣布一个新冠军，而是告诉团队：接触学习系统究竟缺哪只“手”、哪根“神经”和哪层“反射”。

先想一个非常具体的问题：机器人把插头推向插孔，视觉已经给出大致位置，为什么最后几毫米还是容易卡住？因为画面主要告诉它“物体看起来在哪”，却很难直接告诉它插头边缘已经碰到孔壁、接触力正向哪边增长、继续前进会顺利插入还是把零件顶坏。

人类处理这种情况，通常不会重新端详整个房间。手指察觉阻力后会微调方向，手腕会顺着接触面让开一点，动作在很短时间内完成“试探—修正—继续”。机器人若只有一个慢吞吞的大模型从头规划，每次接触都重新思考，往往来不及；若只有一个传统控制器，它又不知道这次任务究竟是在插接、擦拭还是开抽屉。

这正是论文要整理的核心矛盾：高层策略需要看懂任务，低层执行需要及时感到接触，两者还必须在同一条控制链上说得通。论文把这套链路命名为触觉/力觉机器人学习分类框架（TF-ART）。这里的“分类”不是把论文按传感器名字分几个文件夹，而是追问每一种接触信息在系统的哪个位置出现、经过怎样的表示、影响哪一步动作。

01｜先讲人话：触觉、力觉到底各自看见什么

“触觉”和“力觉”经常被放在一起说，但它们回答的问题并不相同。触觉传感器通常装在指尖、夹爪、掌面或机器人皮肤上，重点观察局部接触：接触点在哪、压强怎样分布、表面是否滑动、材料有没有变形。它像给机器人戴上一层会感受纹理和压力的皮肤。

腕部六轴力/力矩传感器更像一只装在手腕上的秤。它测到末端整体受到的三个方向的力和三个方向的力矩，适合判断工具是否顶住、推力是否过大、装配是否对齐。优点是可以加装在不少标准机械臂上，读数直接；缺点是它看到的是合力，单靠这一个数通常不知道工具表面具体哪里碰到了物体，手臂其他位置的碰撞也可能看不见。

关节扭矩传感器则分布在机械臂的关节里。它不仅能通过机器人运动学关系估计末端受力，还能感到手臂中段被碰了一下，因此很适合全臂柔顺和安全交互。但它要从重力、惯性和摩擦中分离真正的外部接触，依赖准确的动力学模型；很多只支持位置控制的低成本机械臂也没有这类内置硬件。

视觉触觉又是触觉中的一条重要路线。它把相机藏在可变形的接触表面后面，物体压上去后，相机观察表面形状或标记点怎样变化，再推断局部几何、纹理、滑移和力分布。它能给出很密的空间信息，部分设备达到亚毫米级，但感知范围受限于那块可变形表面，延迟还会受到相机、传输和图像处理影响。

所以，选传感器不是“哪个更先进”的单选题。要看局部接触几何，触觉更有信息；要看工具承受的整体载荷，腕部力/力矩更直接；要照顾整条手臂的碰撞和柔顺，关节扭矩更全面。传感器真正的价值，不在于多给模型一串数字，而在于补上视觉最看不见的那部分物理状态。

02｜TF-ART的主链：从“感觉到”一路走到“及时停手”

论文把系统分成五个相连的环节：多模态感知、编码与融合、主要动作生成、动作细化、底层末端控制。可以把它理解成一支机器人乐队：感知负责收音，编码与融合负责把不同乐器对齐，主要策略写出主旋律，动作细化处理临场变化，底层控制保证每个音按时落下。

第一环是多模态感知。输入不止有相机画面，还可能有语言指令、机器人自身关节状态、末端六轴力、关节扭矩、触觉图像、触觉阵列和接触点。论文尤其强调，信号名称相同并不代表信息完全相同：同样是“力”，腕部读数描述一个参考坐标系下的合力，关节扭矩描述各执行器承受的载荷，触觉则描述局部表面的接触分布。

第二环是编码与融合。原始信号像不同语言：图像是像素，力觉是六维向量，关节状态是一串角度与速度，语言是词元。模型需要先把它们变成可比较的表示，再决定何时融合。早融合能让策略从一开始同时看各种输入，结构直观；中间融合可以保留各模态专长；晚融合则让不同专家先独立判断，再在动作层汇合。选择哪一种，取决于数据是否同步、模态是否经常缺失，以及实时预算。

这一步还有一个容易被忽略的难题：传感器可能临时失效，或者训练时有触觉、部署时没有。综述因此把输入重建、缺失模态预测和中间物理量预测也纳入框架。它们可以让模型补全信息，或者把难以直接测量的力、刚度、接触状态变成后续控制可用的目标。但预测出来的触觉不等于真实触觉，误差会沿着控制链继续传递，因此需要在任务里检验，而不能只看重建图像漂不漂亮。

第三环是主要动作生成。这通常是系统里最“聪明”的模块：理解任务指令和大场景，输出一段轨迹、一个动作块、末端位姿或关节命令。它可以来自模仿学习、扩散策略、动作分块变换器、强化学习或视觉—语言—动作模型。主要策略擅长回答“总体要做什么”，例如抓住杯子并放到托盘，却未必擅长在几十毫秒内处理突然打滑。

第四环是动作细化。它接收主要策略给出的粗动作，再利用接触反馈做残差修正：多推一点、向左让开、减小夹力、暂停等待稳定。这样做的好处，是不用为了加入一种新触觉传感器，就把已经会理解场景的大模型全部重新训练。主策略继续负责语义和长程计划，较小的细化模块专门处理接触。

第五环是底层末端控制。学习模型最终必须把意图交给真实机械臂。位置控制让末端去某个坐标，力控制让它维持某个接触力，阻抗控制把机器人表现成一根设定软硬程度的弹簧，导纳控制则根据外力调整运动。接触任务里，底层控制的频率、稳定性和硬件接口常常决定一套漂亮策略能不能安全落地。

综述最重要的结构性判断，是把“智能”从一个大模型里拆出来看。高层模型可以慢一些，花时间理解指令与规划；细化策略和控制器必须快一些，在接触发生后立即反应。真正可靠的物理智能，往往不是一个模型包办所有事，而是慢推理与快反射清楚分工。

原创机制示意：不同接触传感信号经过融合、主要动作生成、快速细化与底层控制，形成从感知到执行的闭环。

图中左侧把局部触觉、腕部力/力矩和关节扭矩画成三种不同“测量窗口”：一个看接触面，一个看末端合力，一个看整条机械臂。中部的融合与策略模块负责把信号变成动作，右侧的快速细化和低层控制则在接触后持续调整。它是依据综述分类绘制的机制图，用来帮助理解模块关系，不是论文实验结果，也不承载性能比较。

03｜53篇论文怎样被系统编码：数字不能硬凑成一张饼图

论文的核心语料覆盖2024年至2026年4月公开的工作，作者通过Google Scholar、arXiv和电气电子工程师学会数字图书馆检索，再做前向与后向引用追踪，最终得到53篇核心论文；更广的参考文献清单更新到2026年7月21日。纳入标准也很明确：触觉或力相关信息必须进入策略输入、训练信号、可学习的中间表示或动作输出，并且系统要在下游动作生成任务中评估。只做传感器设计、标定、力估计或经典控制而没有学习动作策略的工作，不进入核心语料。

官方全文表7给出的硬件统计是：18篇使用腕部力/力矩传感，9篇使用关节扭矩，27篇使用触觉传感；触觉路线中有15篇明确使用视觉触觉。25篇使用腕部力/力矩或关节扭矩，其中2篇同时使用这两类力域信号；4篇同时组合力域与触觉传感；还有5篇通过本体感觉估力或只依赖视觉。数字之间存在交叉，所以不能把18、9、27直接相加后质疑为什么超过53。

这种交叉恰恰说明真实系统不是“每篇论文认领一种传感器”。同一个机器人可以用腕部力觉判断整体推力，再用指尖触觉找局部滑移；也可以同时读取腕部力和关节扭矩。统计的目的，是说明技术采用分布和组合关系，不是让三类方法争一个总和为100%的市场份额。

任务分布同样有明显偏斜。53篇论文覆盖21类操作任务，其中插孔任务出现于26篇，表面擦拭出现于18篇，抓取与放置出现于13篇。它们是接触学习最常见的试验场，因为任务目标清楚、成功容易定义、硬件场景相对可控。动态多接触、长时程家庭操作、复杂变形物体和跨平台迁移则明显更少。

对初学者来说，这里有一个很重要的读论文技巧：数量多说明社区容易在这类任务上积累和比较，不自动说明路线更优。插孔做得多，可能因为它确实重要，也可能因为装置和评价更标准；家庭长任务做得少，则可能反映数据采集、传感器耐久、误差积累和安全恢复都更难。频次是研究生态的地图，不是方法优劣的排行榜。

04｜为什么多阶段比“把所有信号塞进一个模型”更现实

把视觉、语言、触觉、力觉、关节状态一次性送进一个巨型模型，看起来最端到端，也最省结构设计。但工程上会遇到三个问题。第一，不同传感器采样频率不同，视觉可能几十赫兹，力控回路可能需要更高频；第二，新增传感器会改变输入分布，重训成本很高；第三，负责语义推理的大模型通常延迟更高，而接触反应不能等它慢慢生成。

多阶段设计把矛盾拆开：阶段一根据视觉和语言给出粗轨迹，阶段二用触觉或力觉修正动作，阶段三由力控、阻抗或导纳控制器稳定执行。这个架构很像开车：导航决定往哪走，驾驶员根据路况微调，车辆稳定系统在更短时间尺度处理打滑。三个环节都在“控制汽车”，但没有必要用同一种计算频率和同一套模型。

动作细化还提供了一个务实的升级路径。团队已经有成熟的视觉策略时，可以冻结或少改主模型，让一个轻量模块学习“接触发生后该加多少残差动作”。这样既保留大规模视觉数据带来的语义能力，又避免为少量昂贵触觉数据重新训练全部参数。代价是系统接口增多，阶段之间的时序、坐标系和责任划分必须设计清楚。

更关键的是，学习模型输出什么，必须和机器人底层能力匹配。如果策略预测参考力和刚度，但机械臂只暴露位置指令，这些输出没有执行入口；如果模型在一台高端力控机械臂上训练，换到低成本位置控制平台也不能直接复用。论文把这类量称为中间模态：它们在算法上有意义，却与具体控制接口紧密绑定。

所以，多阶段并不是天然更先进。它把训练问题变成了系统问题：怎样校准多个传感器，怎样让粗动作与残差动作处在同一坐标系，怎样防止细化模块把主策略越改越偏，怎样在通信延迟和传感噪声下保持稳定。它的优势来自分工，而不是模块数量。

05｜融会贯通：两套具体系统把分类框架落到真实设计

TF-ART是一篇综述和分类法，不是一套新机器人策略。要看它怎样帮助理解具体系统，可以把它与两篇接触操作工作放在一起：Reactive Diffusion Policy和OmniVTA。前者展示“慢计划加快反馈”，后者展示“世界模型加高频反射”；两者都能放进TF-ART的感知—策略—细化—控制链，但解决的问题和证据规模不同。

Reactive Diffusion Policy：慢扩散负责大方向，快触觉负责接触修正。这项工作面向三种接触密集任务，使用触觉增强遥操作系统（TactAR）采集视觉触觉数据。潜变量扩散策略在较慢时间尺度生成主要动作，高频触觉反馈则快速修正。用TF-ART的话说，它明确分开了主要动作生成与接触感知驱动的动作细化，是“慢脑子、快反射”的典型系统。

Reactive Diffusion Policy的价值在于把实时性矛盾变成结构设计：不要求扩散模型跑到控制回路同样快，而是让它输出低频主动作，再让触觉支路做高频反应。它的证据来自三项具体任务，因此能说明这套慢—快组合在所测场景中的系统行为；它不像综述那样覆盖各种传感器、融合位置与控制接口。

视觉触觉世界建模系统（OmniVTA）：世界模型负责预见，60赫兹反射控制器负责立即纠偏。官方摘要报告其数据覆盖超过21000条轨迹、86个任务和100多种物体，并组合视觉触觉世界模型与60赫兹反射控制器。世界模型学习动作与接触后的变化，反射控制器则把高频触觉变成及时动作，目标是兼顾更广的数据规模和接触响应。

放进TF-ART后，OmniVTA的设计位置也很清楚：视觉与触觉进入多模态表示，世界模型承担预测和主要决策，高频控制器承担动作细化或反射执行。21000多条轨迹、86个任务、100多种物体是这套具体系统的数据与任务规模，不是TF-ART综述新建的统一数据集；60赫兹是其反射控制器频率，也不能外推成所有触觉系统的通用要求。

三篇工作形成了很好的互补。Reactive Diffusion Policy回答“一套慢—快策略怎样做”，OmniVTA回答“更大规模视觉触觉数据、世界预测与高频反射怎样组合”，TF-ART则提供共同语言，帮助读者比较传感、融合、主要策略、细化与控制各自放在哪里。具体系统给出实例，综述给出坐标系；不能拿坐标系冒充实验，也不该只看实例而忽略可迁移的设计原则。

06｜对做机器人的团队，这篇综述能直接省掉哪些弯路

第一，用任务失败方式倒推传感器，而不是看流行度采购。若失败来自插接时整体受力过大，腕部六轴力/力矩可能已足够；若失败来自指尖局部滑移和接触位置不明，需要触觉；若机械臂中段也可能撞到人或环境，关节扭矩更有价值。先写清机器人“看不见哪种物理量”，再决定硬件。

第二，把采样率和延迟写进架构图。视觉、触觉、力觉和控制器不是同时到达的一排整齐数据。团队需要知道每路信号几赫兹、时间戳怎样对齐、最坏延迟是多少、丢包后由谁兜底。一个离线准确率很高的融合模型，如果接触后两百毫秒才给出修正，可能还不如简单而稳定的高频力控。

第三，优先复用已有主策略，再判断是否值得端到端重训。已有视觉—语言—动作模型能完成大部分自由空间运动时，触觉模块可以先做失败检测、残差动作或终止判断。只有当接触信息从任务早期就持续决定动作，或者主策略无法理解关键接触状态时，才更有理由进行深层融合。

第四，评价指标不能只有成功率。接触任务还应观察峰值力、接触稳定性、扰动恢复、对未见材料的泛化、传感器失效后的鲁棒性，以及成功动作是否以不安全的力完成。两个系统成功率相同，一个每次都温和插入，另一个靠大力硬顶，工程意义完全不同。

第五，把本体依赖当作一等公民。腕部读数、关节扭矩和控制接口都与机械臂结构有关；同一接触换到另一台机器人，信号分布会改变。若产品路线要求跨硬件复用，应更早考虑坐标统一、动力学归一化、传感器标定和控制抽象，而不是训练结束后才发现模型被某台设备“锁死”。

对学生和研究者，这个框架也能帮助选题。不要只问“还能不能换一个更大的视觉模型”，可以问：缺失模态能否可靠预测？接触信息应该在输入、表示还是残差动作层融合？慢策略和快反射怎样共享状态？低成本位置控制机械臂能否学出近似柔顺行为？这些问题都比简单堆模型更接近物理交互的真实瓶颈。

07｜后段再踩刹车：这53篇还没有给出统一冠军

这篇论文做的是系统综述、分类和工程讨论，没有运行一套新的统一基准，也没有把53种方法搬到同一机器人、同一数据、同一任务上重新比赛。各论文使用的机械臂、传感器、物体、数据量、控制频率和成功判定差异很大，因此不能根据综述中的采用次数排出“最佳传感器”，也不能横向拼接原论文成功率得出总榜。

语料时间也有明确范围：核心工作覆盖2024年至2026年4月，参考清单更新到2026年7月21日。触觉硬件、机器人基础模型和世界模型发展很快，后续新系统会改变分布。分类本身还依赖作者对论文模块的编码，处在输入融合、动作细化还是控制接口之间的混合系统，可能存在合理的不同归类。

当前实证还集中在插孔、擦拭、抓放等短程任务，动态多接触、变形物体、长时家庭操作和跨本体迁移不足。传感组合也远未普及：53篇里只有4篇把力域传感器与触觉传感器配在一起。换句话说，大家已经知道多模态很重要，但真正把多种接触反馈稳定集成、长期运行并跨平台复用，仍然很难。

数据规模是另一堵墙。视觉数据可以从视频大量获取，真实触觉与力觉却要让机器人实际接触物体，硬件磨损、标定漂移和安全风险都会增加成本；仿真又很难同时还原细微形变、摩擦、材料柔顺与多点碰撞。未来的统一基准若要有意义，需要覆盖不同物体、平台和传感配置，并报告力安全、稳定性、扰动恢复和传感失效，而不只是任务成功。

龙哥点评

龙哥认为，这篇综述真正解决的不是“触觉论文太多看不过来”，而是机器人团队常见的架构失语：做感知的人讲传感器分辨率，做策略的人讲模仿学习，做控制的人讲阻抗与稳定性，大家都在描述同一次接触，却没有一张共同地图。TF-ART把信息流和控制流对齐，这一点比再列一张论文清单更有长期价值。

我最认可的，是它把动作细化和底层控制从“实现细节”抬到了方法主链上。真实机器人不是生成一个动作序列就结束，接触后的每一次偏差都要闭环处理。很多模型论文在离线预测上很漂亮，一接硬件便暴露延迟、控制接口和传感噪声问题；这篇综述逼着读者把这些问题提前放进设计。

它的不足也很清楚：这是一张地图，不是路测报告。53篇论文来自不同平台与任务，框架可以帮助定位模块，却无法替团队回答“在我们的机械臂和预算下，哪种传感器投资回报最高”。真正落地仍需从失败模式、实时预算、维护成本和控制接口反推方案。

最值得带走的判断是：物理智能的竞争，不会只发生在更大的策略模型上，还会发生在谁能把慢思考、快反馈和稳定控制组织得更好。对研究者，这是新的方法空间；对工程团队，这是系统边界；对普通读者，这也解释了为什么机器人“看懂世界”之后，离真正可靠地碰触世界还有很长一段路。

龙迷三问

第一问：有了高分辨率视觉，机器人还一定需要触觉吗？
不一定每个任务都需要专用触觉硬件。自由空间抓放、物体不易变形且接触条件稳定时，视觉和本体感觉可能已经够用；但当物体遮挡、摩擦变化、接触位置和力度直接决定成败时，触觉或力反馈提供了视觉难以替代的信息。判断标准不是“触觉先进不先进”，而是任务失败是否来自不可观测的接触状态。

第二问：为什么不让一个端到端大模型把所有事情都学会？
可以尝试，但训练数据、同步、延迟和安全代价很高。高层语义规划与毫秒级接触反应需要不同时间尺度，底层稳定控制还受硬件接口约束。多阶段方案不是否定端到端学习，而是让不同模块在合适频率上承担责任，并保留可解释的安全兜底。

第三问：下一步最值得做的是更好的传感器，还是更大的数据集？
两者都重要，但更稀缺的是跨平台、跨传感器且带控制上下文的数据标准。单个传感器分辨率再高，如果时间戳、坐标系、力安全和任务标签不统一，模型仍难迁移。未来真正有价值的数据集应同时记录看到了什么、碰到了什么、怎样修正、底层怎样执行以及失败为何发生。

总结：机器人要学会的，不只是动作，而是接触之后怎么办

TF-ART用53篇论文回答了一条朴素但关键的问题：机器人从“看到目标”走到“安全完成物理交互”，中间到底缺哪些环节。答案不是简单加一个触觉输入，而是把多模态感知、表示与融合、主要动作生成、接触动作细化和底层末端控制连成闭环。

如果只记住一句话，可以记住这一句：视觉告诉机器人世界大致长什么样，触觉与力觉告诉它此刻真正发生了什么，控制系统决定它来不来得及做对反应。当这三件事被放在同一架构里，机器人学习才开始从“会生成动作”走向“会处理物理后果”。

主要参考资料

本文基于龙哥读论文PaperDaily数据库及PaperMiner的MCP进行汇总整理。本文为论文解读与个人学习笔记，不构成任何论文审核意见，及对产品能力、安全性或商业可用性的保证。