研究意义

机器人灵巧抓取是机器人操作的基础环节,主要研究如何利用多指灵巧手获取并保持对物体的稳定抓握。多指灵巧手具备丰富的自由度,能够像人一样适用各种场景和物体。在柔性装配、工具使用和服务机器人等场景中,实现稳定可行的抓取具有重要的意义。

对于搬运和分拣,抓取通常以物体能否被稳定提起并移至指定位置作为评价依据。对于开合容器、操作工具和物品递交,抓握还需要满足特定的功能要求。例如,提起水瓶时可以选择针对瓶身进行操作,拧开瓶盖则要求手指能够接触盖体并施加转动。同一个物体可以对应多种稳定抓法,任务目标则会进一步限定哪些抓法适合当前操作。

语言引导为机器人获取任务信息提供了自然的交互方式。操作者可以用语言描述要操作的对象、希望完成的动作以及需要遵守的约束。例如,”握住杯柄“直接指定了抓握部位,而”把这杯水递给我“还需要机器人根据物体状态和交接要求,判断应当从何处握持、怎样保持杯口朝上。机器人需要将这类语义信息与视觉观测中的物体形状、部件位置和空间布置联系起来,进而生成可由灵巧手执行的抓握姿态。

这一过程对于模型的任务理解与机器人的物理执行能力要求很高。一方面,物体部件的形状、尺度和摆放位置会随场景变化,遮挡也可能影响机器人对目标部位的定位。另一方面,多指灵巧手的关节活动范围和接近路径有限,同一个部位在不同姿态下可能对应不同的可行抓法。因此,语言引导的灵巧抓取需要同时考虑意图一致性与物理可行性,也就是说灵巧手姿态既要符合指令意图,也要能够在当前环境中稳定执行。


图 1 不同语言指令下的实机抓取示例。

国内外研究现状

机器人灵巧抓取生成与执行

灵巧抓取生成通常以物体的几何信息为依据,求解手腕的位置和朝向,以及各手指的关节配置。基于模型的方法将物体形状、灵巧手的关节限制和手与物体的接触条件写入优化问题,再根据抓握稳定性和碰撞情况筛选候选姿态。这类方法可以明确描述一组抓法需要满足的物理条件,也可以在仿真中批量构造并验证数据。DexGraspNet 利用抓握稳定性分析生成多种物体的候选抓法,并在仿真中验证,为数据驱动的灵巧抓取研究提供了几何与姿态配对样本[1]。

数据驱动的方法通过这些样本学习物体形状和抓握姿态的对应关系,可以为同一物体生成多组候选姿态。同一个杯子可以从杯身两侧包握,也可以从可达的一侧握住杯柄。多个候选可以为后续选择留出空间。在具体执行时,机器人还需要规划手的接近过程,并协调各手指闭合。UniDexGrasp 将候选姿态生成与抓取执行联系起来,先根据物体的三维观测生成多种姿态,再由控制策略引导灵巧手到达选定姿态并完成抓取[2]。

机器人灵巧抓取涉及候选姿态生成和抓取执行两个相互关联的环节。基于物理模型的分析可用于评估抓握稳定性和碰撞风险,数据驱动方法可根据物体几何生成多种候选姿态,控制策略则引导灵巧手完成接近物体、闭合手指和稳定持握。在工具使用、物品递交等任务中,抓握部位与姿态还需满足后续操作的要求。

语言引导的任务导向灵巧抓取

语言引导的抓取将物体用途以及后续操作要求纳入抓握决策中。相关研究常用”可供性“描述物体部位能够支持的动作,例如旋钮可以拧动,手柄便于握持,按钮可以按压。AffordPose 数据集将拧、拉、握持等操作与物体部位及对应手部姿态联系起来,为研究任务要求如何影响抓握位置、手指配置提供了数据基础[3]。

一类方法首先从语言指令中识别操作目标,将其对应到物体上的功能部位或交互区域,再据此生成抓握姿态。AffordDexGrasp 根据语言指令预测与任务相关的区域,并以该区域为条件生成灵巧抓握姿态。PartDexTOG 结合语言中的任务信息与物体部件的几何结构,分析哪些部位适合操作,并评估生成姿态与目标部件的匹配程度。这类方法通过显式提取功能部位,将”任务需要操作哪里“与”手应当怎样抓握“联系起来[4] [5]。

对于未见过的物体,一种思路是借鉴已有抓握经验。G-DexGrasp 根据目标物体的部件和用途检索相近的抓握先验,再利用这些经验生成新姿态。例如,新工具的外形发生变化时,形状和用途相近的手柄仍可为抓握提供线索。还有研究将视觉、语言和抓握姿态放在统一模型中学习。OpenDexGrasp 使用自动生成的样本与真实机器人遥操作示范,在同一模型中学习任务相关部位和抓握姿态,并根据多视角图像、物体几何与语言指令生成候选抓法[6] [7]。

语言条件下的数据构建还需要记录任务和动作的对应关系。同一物体通常适合多种用途,同一用途也可能对应多种合理的抓法。如果训练数据只展示一种物体对应一种抓法,模型容易把某个外形与固定姿态关联起来。对于这类问题,可以使用不同指令操作同一个物体,也可以用同一种指令操作形状各异的物体,分别考察系统对任务和物体变化的适应能力。

现有工作已在多类物体和指令上验证了语言引导抓取的可行性。面向开放环境,仍需考察系统能否处理训练中未见过的物体与指令组合,以及视觉遮挡、物体滑动等情况对实际执行的影响。以工具使用为例,抓取成功可以通过物体是否稳定抬起来判断,任务能否完成还取决于手指在抓稳之后是否仍能触及开关。对部位选择、抓握稳定性和后续任务结果进行联合评估,可以更完整地反映语言指令对实际操作的引导效果。

参考文献

  1. [1]
    J. Zhang et al., “OpenDexGrasp: Open-vocabulary Task-Oriented Dexterous Grasping,” arXiv preprint arXiv:2609.18117, 2026.
  2. [2]
    Y.-L. Wei et al., “AffordDexGrasp: Open-set Language-guided Dexterous Grasp with Generalizable-Instructive Affordance,” in Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), 2025.
  3. [3]
    W. Wu, Y. Shi, Z. Chen, and Z. Cai, “PartDexTOG: Generating Dexterous Task-Oriented Grasping via Language-driven Part Analysis,” arXiv preprint arXiv:2505.12294, 2025.
  4. [4]
    J. Jian, X. Liu, Z. Chen, M. Li, J. Liu, and R. Hu, “G-DexGrasp: Generalizable Dexterous Grasping Synthesis Via Part-Aware Prior Retrieval and Prior-Assisted Generation,” in Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), 2025.
  5. [5]
    R. Wang et al., “DexGraspNet: A Large-Scale Robotic Dexterous Grasp Dataset for General Objects Based on Simulation,” in IEEE International Conference on Robotics and Automation (ICRA), 2023.
  6. [6]
    Y. Xu et al., “UniDexGrasp: Universal Robotic Dexterous Grasping via Learning Diverse Proposal Generation and Goal-Conditioned Policy,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2023, pp. 4737–4746.
  7. [7]
    J. Jian, X. Liu, M. Li, R. Hu, and J. Liu, “AffordPose: A Large-Scale Dataset of Hand-Object Interactions with Affordance-Driven Hand Pose,” in Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), 2023, pp. 14713–14724.

相关科研项目

人机协同柔性智造关键技术与集成验证