XArm手势控制机械臂项目

演示视频

视频1 远程控制机械臂抓取物品 0秒~20秒: 未使用智能手套的控制效果 20秒~57秒: 使用智能手套的增强控制效果

项目背景

XArm是一个手势控制的机械臂项目，是本科时我和其他3位同学一起发起的项目，旨在打造能同步复现人手动作的远程机械臂系统。

项目核心功能：

• 多维手部数据采集
• 无线控制系统
• 机械臂位姿解算与逆运动学

通过图像识别与传感器手套采集手部运动数据，经算法分析后转换为机械臂运动指令，最终实现机械臂的无线控制。

系统架构

XArm主要由4大模块构成：

1. 基于视觉的手势识别（LeapMotion）
2. 无线九轴IMU手势识别手套（智能手套）
3. 传感器数据聚合与运动指令解算（控制中心）
4. 六轴无线机械臂（XArm）

图1 系统架构图

硬件设计

智能手套与XArm主控采用C语言开发，基于ESP32实现主控与无线通信。控制中心基于Python开发，负责位姿解算与逆运动学计算。视觉手势识别模块通过USB与控制中心连接。

系统硬件包含3大核心模块：

1. 智能手套：采集九轴姿态与手势数据。作为XArm的可选扩展模块，当手套离线时，控制中心将基于视觉数据进行手势解算。支持热插拔功能，可在机械臂运行时实时接入。
2. 控制中心：全局控制系统，负责多源传感器数据融合、机械臂位姿解算。通过逆运动学将传感器数据转换为机械臂运动指令, 并通过无线连接远程控制机械臂。
3. XArm机械臂：六自由度机械臂搭载ESP32无线主控，采用单核实现状态上报、指令接收校验与执行功能。通过TDD（时间驱动）系统实现多任务调度，确保实时控制体验。