sEMG 信号处理与抓取力估计

Orbbec EGO 双目 (1600×1300 @30fps) 同步 CEREBLINK NB3 双腕带 (6ch sEMG @1kHz + IMU @143Hz)。视频与肌电同步采集，管线输出 30 维 EMG 时域特征 + MVC 归一化力代理，直接集成到 LeRobot v3.0 obs 空间。

Overview

EGO + NB3

采集设备

双目视频 + 双腕带 EMG

4,460,246

EMG 采样点

11 录制 · 22 腕带流

36.9 min

总时长

6ch @1kHz · 22/22 PASS

2,854

检测到的抓取事件

中位抓取率 53%

30d

EMG 特征维度

5 特征 × 6 通道

Processing Pipeline

STEP 1

Raw CSV

6ch EMG @1kHz
6-axis IMU @143Hz
BLE GATT 采集

STEP 2

滤波

带通 20-450Hz
50Hz 工频陷波
全波整流

STEP 3

特征提取

200ms 窗口
50ms 步进
RMS/MAV/WL/ZC/SSC

STEP 4

力代理

MVC 归一化
抓取事件检测
0-1 力估计

STEP 5

L6 集成

tactile[0:30] EMG
gripper_force[0:1]
LeRobot v3.0

Tactile Feature Layout (48d per hand)

Index 0──────5 6─────11 12────17 18────23 24────29 30─32 33───47 Feature RMS ×6ch MAV ×6ch WL ×6ch ZC ×6ch SSC ×6ch Gyro reserved Source EMG肌电 EMG肌电 EMG肌电 EMG肌电 EMG肌电 IMU 未来扩展

Per-Recording Quality

录制 ID	手	时长	样本数	采样率	抓取数	抓取率	MVC	质量
153959	L	149s	135,758	912 Hz	55	88%	1,448	PASS DUAL
153959	R	149s	144,242	967 Hz	59	62%	1,584	PASS DUAL
162635	L	137s	137,256	1001 Hz	65	32%	3,634	PASS DUAL
162635	R	137s	132,272	965 Hz	98	53%	2,505	PASS DUAL
163426	L	115s	115,206	1002 Hz	46	53%	1,719	PASS DUAL
163426	R	115s	110,152	957 Hz	57	24%	3,988	PASS DUAL
173144	L	148s	147,966	1003 Hz	58	48%	2,056	PASS DUAL
173144	R	148s	147,784	1002 Hz	51	22%	12,966	PASS DUAL
173703	L	136s	136,206	1001 Hz	53	46%	2,373	PASS DUAL
173703	R	136s	134,680	990 Hz	108	56%	5,786	PASS DUAL
174034	L	145s	144,872	1002 Hz	61	48%	2,103	PASS DUAL
174034	R	145s	146,902	1016 Hz	102	54%	9,321	PASS DUAL
174442	L	133s	133,028	1002 Hz	62	31%	4,395	PASS DUAL
174442	R	133s	133,210	1003 Hz	66	71%	12,414	PASS DUAL
174837	L	150s	150,514	1002 Hz	62	34%	2,882	PASS DUAL
174837	R	150s	150,626	1003 Hz	89	63%	10,270	PASS DUAL
175635	L	351s	351,834	1001 Hz	259	57%	6,005	PASS DUAL
175635	R	351s	352,072	1002 Hz	215	70%	11,373	PASS DUAL
180753	L	382s	382,872	1001 Hz	312	47%	4,725	PASS DUAL
180753	R	382s	383,264	1002 Hz	317	53%	10,827	PASS DUAL
184350	L	393s	393,946	1001 Hz	274	34%	4,202	PASS DUAL
184350	R	393s	395,794	1006 Hz	385	57%	4,173	PASS DUAL

Recording Scene — Orbbec EGO + NB3 Dual Wristband

#162635 Left Eye — 桌面操作

Orbbec EGO 1600×1300 @30fps 165° 鱼眼广角，全局快门 + IMU 硬同步。双手进入视野执行桌面操作任务。

#162635 Right Eye — 立体视差

EGO 右目同步视角，左右目基线 ~65mm，为 ORB-SLAM3 立体惯导提供深度感知。

#153959 Left Eye — 高频操作

双腕带录制，左手 88% / 右手 62% 抓取率，操作密度最高的一段。

#162635 Right Eye — 双目立体视角

与左眼同步采集，98 次抓取事件，右手主导操作。

Video + EMG Correlation — #162635 Dual Wristband

Left eye @30s

Left Eye @30s — 手部接触物体

Right eye @30s

Right Eye @30s — 立体视差对

EMG analysis left

Left Wristband — EMG Signal

137,256 samples / 137s / 1001Hz — 6 通道全部 OK，动态范围 3.6x-19.1x，CH3/CH4 主导激活。与上方视频帧同一录制。

EMG analysis right

Right Wristband — EMG Signal

132,272 samples / 137s / 965Hz — 6 通道全部 OK，动态范围 3.9x-15.7x，CH4 高激活区可见。

Long Session EMG — #175635 (351s)

EMG analysis left 175635

Left Wristband — 5.9 min Continuous EMG

351,834 samples / 351s / 1001Hz — 6 通道全部 OK，动态范围 6.5x-15.5x，CH3/CH4 主导激活，间歇性操作模式清晰可见。

EMG analysis right 175635

Right Wristband — 5.9 min Continuous EMG

352,072 samples / 351s / 1002Hz — CH2 展示 23.8x 动态范围，CH1/CH3 部分饱和（4.3%/9.7%），右手主导操作。

Force Proxy & Grasp Detection

@60s grasp

@60s — 抓取动作

@60s high freq

#153959 @60s — 高频操作

Force proxy left

#162635 Left — 65 Grasps, 32%

MVC=3634, 间歇性操作模式, 力峰值分布均匀, 平均抓取持续 0.7s

Force proxy right

#162635 Right — 98 Grasps, 53%

MVC=2505, 右手主导操作, 抓取密度高于左手, 多段持续抓握

Force proxy left 175635

#175635 Left — 259 Grasps, 57%

MVC=6005, 351s 长时间任务，间歇性操作节奏，力代理范围均匀分布

Force proxy right 175635

#175635 Right — 215 Grasps, 70%

MVC=11373, 右手主导操作，高抓取密度，多段持续抓握

LeRobot v3.0 Integration

EMG 特征如何参与机器人策略训练

Observation Space

observation.state.left_tactile[0:30]
5 个时域特征 × 6 通道 = 30d EMG 向量。RMS 编码整体肌肉激活强度，MAV 提供绝对值均值，WL 反映信号复杂度，ZC/SSC 编码频率特性。

observation.state.gripper_force[0:2]
MVC 归一化力代理 (0-1)，左右手各一个标量。策略网络可直接用于力控制目标。

Training Value

预测性信号：EMG 在物理接触前 100-200ms 激活，提供动作意图的早期指示，视觉/位姿数据无法给出。

力觉通道：弥补纯视觉策略无法感知抓取力度的缺陷。柔性物体操作（如餐具、织物）需要精确力控。

兼容性：ACT / Diffusion Policy 直接读取，无需架构修改，仅扩展 obs 维度。