蚂蚁灵波开源LingBot-Touch触觉基础模型,填补机器人指尖感知空白

(文/杨亮)SmartHey11月10日消息,近日,蚂蚁灵波正式开源面向机器人灵巧操作的触觉基础模型 LingBot‑Touch,旨在补齐机器人通用大脑在触觉感知维度的关键短板,使其在视觉之外具备高灵敏度的指尖触觉能力,显著提升具身智能在真实物理环境中的精细操作水平。

据悉,LingBot‑Touch 基于近5000小时高质量真实触觉数据完成预训练,全面兼容磁触觉、视触觉、压阻式三类主流触觉传感方案。该模型可将异构传感器输出的原始信号统一映射为标准化触觉表征,实现触觉经验在跨传感器、跨灵巧手、跨算法模型及跨任务场景下的高效复用。

此前,蚂蚁灵波 LingBot 系列已构建起覆盖高精度空间感知、高动态环境交互与可泛化灵巧操作的完整技术栈,有效解决机器人‘看得清、想得明白’的核心问题。

而 LingBot‑Touch 的发布,则将感知能力延伸至机器人最前端的交互界面——指尖,突破精细作业中‘摸得灵敏’的技术瓶颈,进一步完善具身原生通用大脑的能力闭环。项目主页、技术报告已同步上线 GitHub、Hugging Face 与魔搭社区,面向全球开发者免费开放使用。

在真实物理操作中,仅依赖视觉感知往往难以支撑全流程精细控制。以拧瓶盖为例:视觉可辅助完成手指与瓶盖的初始对准,但瓶盖打滑、指腹受力瞬时变化等关键状态常被物体遮挡,摄像头无法捕捉;此时唯有通过指尖触觉实时判断接触位置、压力大小及动态趋势,才能及时调整抓握力度与运动轨迹。

为验证模型实效性,研发团队在 Sharpa Wave 与 XHand 两款主流灵巧手上开展了26项真机测试,涵盖拧瓶盖、翻书页、麻将识别等多种典型精细任务。

实验表明,接入 LingBot‑Touch 统一触觉表征后,LingBot‑VLA、π0.5、Diffusion Policy 与 T‑Rex 四款不同动作策略模型的任务平均成功率较无触觉方案提升14–26个百分点。

以拧瓶盖任务为例:T‑Rex 控制 Sharpa Wave 灵巧手时,在无触觉条件下成功率为56.25%;直接输入原始传感器信号时升至62.5%;而接入 LingBot‑Touch 后,成功率跃升至90%,直观印证了标准化触觉信息对机器人实操性能的显著增益。

当前触觉传感器技术路线多样,硬件输出信号差异显著,传统方案多与特定传感器强绑定——更换灵巧手或传感模组即需重新采集数据、定制训练模型,开发与迁移成本居高不下。

LingBot‑Touch 的核心突破在于构建了一套硬件解耦的统一触觉表征架构。模型为不同传感原理设置独立编码入口,将各异构触点布局采集的信号统一映射至标准指尖坐标空间,并通过共享表征网络学习接触位置、受力强度以及时序演化特征,最终输出通用触觉 Token。无论是来自触觉手套的遥操作数据,还是灵巧手真机采集数据,均可参与联合训练;同时预留扩展接口,支持未来新型触觉传感器无缝接入。

在 XHand 灵巧手的跨硬件验证中,其搭载的磁触觉传感器并未出现在预训练数据集中(全部磁触觉样本均来自触觉手套)。测试中仅冻结 LingBot‑Touch 参数,仅用 XHand 自身操作示范微调下游动作模型,系统即展现出稳定可靠的触觉感知能力,充分验证其优异的跨硬件泛化性能。

该模型定位为介于传感器与动作策略之间的通用感知中间件,而非专属于某套自研算法的封闭组件。它可灵活适配各类第三方动作策略,助力硬件厂商与整机企业自由组合传感器、灵巧手与控制算法,大幅降低触觉功能的二次开发门槛与集成成本。

兼顾端侧部署需求,项目同步提供两个版本模型:全部26项真机实验均采用参数量约530万的 LingBot‑Touch‑Tiny 轻量版,接入现有动作模型后整体参数增量仅0.13%–0.16%,满足边缘设备算力约束;更大规模的 LingBot‑Touch‑Small 版本则在触觉感知精度上具备进一步提升潜力——即便在近5000小时预训练数据规模下,模型仍能从新增数据中持续学习优化,彰显触觉基础模型广阔的技术演进空间。

当前,通用大模型的推理能力持续跃升,但机器人要真正打通‘感知—决策—执行’的物理闭环,物理操作的泛化能力仍是核心瓶颈。LingBot‑Touch 延续蚂蚁灵波‘具身原生’技术路径,区别于数字域多模态大模型,专注机器人与真实世界交互场景,深度融合空间感知、触觉、力觉等源自物理传感器的一手信号。研发方指出:传感器输入的模态质量,直接决定动作输出的可靠性与鲁棒性;后续将持续围绕物理操作泛化能力,深化触觉基础模型及相关具身智能底层技术探索。