Touch-R1模型提升AI触觉推理能力

Touch-R1模型提升AI触觉推理能力

  戴盟机器人联合厦门大学、南京大学、大湾区大学、复旦大学共同提出的首个触觉锚定物理推理模型Touch-R1,相关研究论文已被NeurIPS 2026正式接收。这项研究针对现有大模型在视触觉信息冲突时过度依赖视觉、容易误判物体真实物理属性的行业共性问题,首次将强化学习系统性引入触觉推理环节,让模型能够依托触觉采集到的真实证据推翻此前基于视觉产生的错误判断,把对物体的认知逻辑从“看起来是什么”升级为“实际是什么”。

  在日常场景中,人类判断物体物理属性时往往会先通过视觉形成初步印象,再用触摸的方式验证甚至修正之前的判断,这套“感知-验证-修正”的循环是人类和物理世界交互的核心逻辑之一。但现有的多模态大模型普遍偏重视觉信息,视觉虽然可以快速识别物体的外观轮廓,却很难直接感知物体的硬度、粗糙度、摩擦力、受力形变等深层物理属性,遇到透明、反光或者被部分遮挡的物体时,视觉识别的失效概率还会进一步提升。不少行业测试结果显示,当视觉信息和触觉信息出现明显冲突时,主流大模型往往会优先采信视觉给出的判断,完全忽略触觉采集到的真实反馈,这类误判放到机器人的实际作业场景中,很可能直接导致抓取动作失败、易碎物品被夹坏,甚至引发不必要的安全事故。

  当前要让人工智能模型真正读懂触觉信息,长期以来存在三个难以突破的核心难点:第一是高质量触觉数据整体稀缺,专门用于物理推理的标注触觉数据更是少之又少;第二是软硬、粗糙这类物理属性大多属于序数型属性,而非简单的类别型属性,很难用非黑即白的标签完成标注;第三是不同型号的触觉传感器采集到的信号逻辑差异极大,模型很难跨不同硬件设备形成统一的判断标准。Touch-R1的研发过程正是围绕这三大核心难点展开,最终让触觉从过去的辅助感知信息,升级为能够直接推翻原有判断的核心物理依据。

全链条触觉基础设施搭建完成

  为了给模型训练提供充足且标准化的基础数据,研究团队专门构建了大规模跨传感器触觉推理数据集TouchReason-1M,这也是面向具身智能模型首创的完整触觉数据体系,同时融合了多传感器视触觉数据、序数属性标签和可验证的推理问答内容。整个数据集覆盖一千余个日常常见物体和九大类不同材料,汇集了四种不同型号的视触觉传感器采集到的原始数据,所有数据都在严格控制的标准动作和标准力条件下完成采集,完全支持不同物体之间的横向属性对比。

  和此前市面上已有的各类触觉数据集不同,TouchReason-1M没有简单拼接不同传感器采集到的零散数据,而是统一了所有数据的采集流程:从初始接触状态开始,将传感器按压至20牛的标准力度,再以固定的标准力完成六种预设的探索动作,同步记录下原始触觉图像、形变数据、切向变化、深度变化以及物体接触部位的视觉图像等多维度信息。整个数据集最终包含约十四万七千条有效触觉序列和一百三十二点三万个同步数据对,能够为大模型的触觉推理训练提供足够高分辨率的基础数据支撑。

  针对不同传感器的弹性体材质、标记点分布、光路设计和硬件结构存在天然差异,同一物体的接触动作在不同传感器上会呈现出完全不同图像表现的问题,这套数据集也通过统一采集标准的方式尽可能消除了异构硬件带来的数据偏差,为后续模型实现跨硬件迁移打下了扎实基础。在数据集之外,研究团队还同步搭建了触觉推理评测基准TouchReason-Bench,其中包含四千八百组专门设计的问答内容,能够从物理属性识别、序数推理、跨传感器一致性以及视触觉冲突处理等多个维度,全面考察模型的触觉推理能力。

三阶段训练方法实现能力突破

  Touch-R1没有采用常规大模型的训练流程,而是专门针对触觉推理的特性设计了三阶段专属训练方法。第一阶段是让模型学习预测未来的触觉帧,在反复预测的过程中掌握物体接触过程中的动态变化规律,搞清楚不同力度、不同角度的触碰会让触觉信号产生怎样的对应变化,建立起基础的触觉动态认知。第二阶段是通过结构化问答的方式完成监督微调,引导模型一步步形成从感知信息到比较结论的完整推理链条,而不是直接给出一个没有逻辑支撑的判断结果。

  第三阶段则是使用专门面向触觉场景设计的GRPO强化学习算法,针对性引入三类不同的奖励机制,分别是跨传感器一致性奖励、序数奖励和结构化格式奖励。这套奖励机制的核心作用,一方面是消除不同异构传感器之间的信号差异,让模型不会因为更换了传感器硬件就出现判断结果的大幅波动,另一方面也能从训练逻辑层面防止模型跳过触觉感知环节,仅凭视觉信息直接猜测答案,从根源上规避此前大模型过度依赖视觉的固有问题。

  这套训练方法最终呈现出的效果在公开实验中得到了充分验证,Touch-R1-7B在九项核心触觉推理指标上全部取得最优成绩,综合得分达到60.1分,比此前的触觉专用模型Octopi-13B高出18.4分,比GPT-4o高出约24.7分,比此前全球最强的触觉模型SToLa高出12.6分。在实际测试场景中,模型可以有效通过触觉形变数据和力深度曲线精准识别物体的柔顺程度,主动修正视觉给出的错误材料判断,比如把视觉误判为硬质塑料的柔软橡胶物体,通过触觉证据重新识别为橡胶材质。

  这套研究成果通过数据集、训练模型和评测基准组成的完整触觉推理基础设施,直接推动触觉从过去的辅助感知模态,转变为具身基础模型的核心感知模态,为触觉数据和模型能力的跨硬件迁徙奠定了坚实基础。目前这套技术已经可以落地应用到材料识别、工业质量检测、精密装配作业、易碎品抓取和柔性物体操作等各类需要真实物理交互的工业场景中。

  行业内也在关注几个尚未完全明确的开放性问题:这套模型的训练成本是否可以进一步下探,让更多中小机器人企业也能负担得起部署成本?在更多极端复杂的接触场景下,模型的触觉推理准确率是否还能保持稳定表现?大量一线工业场景中的普通操作工人,会不会因为这类触觉推理模型的普及,调整现有的作业分工模式?这些问题目前还没有统一的答案,也将成为后续相关研究持续探索的方向。

(编辑:吕文)