AnyTouch2：解决触觉三大痛点，金字塔数据+分层训练

00:01:37 动态触觉领域三大核心痛点

• 数据缺乏连续时序与力值标注

• 模型无法预判力变与打滑

• 传感器兼容性差

00:03:17 触觉表征方案的局限

• 数据侧重静态属性

• 动作单一

• 常规视觉模型难以适配触觉形变特征

00:05:04 TouchHD金字塔数据

• T5（纯按压数据）

• T4（随机动作数据）

• T3（指定动作数据）

• T2（操控动作数据）

• T1（力关联数据）

00:06:49 递进式整体训练框架

• 00:08:04 像素级训练

  • 掩码像素重建损失函数

    

  • 掩码像素帧间误差损失函数

    

• 00:09:37 语义级训练

  • 多模态对齐

    • 视觉&触觉，文本&触觉双向对齐

      

  • 物体匹配

    • 正样本相似度计算：同物体不同传感器

    • 负样本相似度计算：不同物体

  

  • 动作匹配

    • 正样本相似度计算：同动作不同传感器

    • 负样本相似度计算：不同动作

      

• 00:12:35 物理交互级训练

  • 3D接触力预测损失 + 帧间3D接触力力差损失

    

• 00:13:20 总体训练框架

  • 先学习像素级特征，再线形学习对齐，匹配，力交互

论文指路：AnyTouch 2: General Optical Tactile Representation Learning For Dynamic Tactile Perception

这一期背景音乐只是随便挑了一下，但是莫名很好听（April Sky），网易云上的中文翻译歌词也很妙（英文没咋看，但感觉没那味儿）：

时间记录了我们的全部～

年年岁岁花相似，岁岁年年人不同～