目前跟蹤“手眼腦”協(xié)同的操作流程,主要包括手眼位置標(biāo)定、基于圖像抓取位姿估計(jì)網(wǎng)絡(luò)模型、觸覺感知力反饋調(diào)節(jié)等技術(shù)難點(diǎn)。

1) 如何實(shí)時(shí)、準(zhǔn)確跟蹤末端執(zhí)行器與被操作物體之間的空間距離和位置信息?手眼位 置標(biāo)定是通過建立機(jī)器人末端執(zhí)行器坐標(biāo)系與相機(jī)坐標(biāo)系之間轉(zhuǎn)換關(guān)系,實(shí)現(xiàn)視覺引導(dǎo) 機(jī)器人操作的準(zhǔn)確性和可靠性。根據(jù)機(jī)械臂與相機(jī)之間的裝配方式,手眼標(biāo)定分為Eye to-Hand和Eye-in-Hand。早期的手眼標(biāo)定技術(shù)主要依靠矩陣關(guān)系(旋轉(zhuǎn)矩陣和平移矩 陣)描述機(jī)器人和相機(jī)之間的空間關(guān)系。隨著計(jì)算機(jī)視覺和優(yōu)化算法的發(fā)展,基于圖像 處理和數(shù)學(xué)優(yōu)化的手眼標(biāo)定方法逐漸成為主流,利用標(biāo)定板或特征點(diǎn)進(jìn)行相機(jī)標(biāo)定,再 結(jié)合機(jī)器人末端執(zhí)行器的位置數(shù)據(jù)進(jìn)行標(biāo)定計(jì)算,以實(shí)現(xiàn)準(zhǔn)確的手眼標(biāo)定。

Eye-in-Hand;相機(jī)固定在末端執(zhí)行器,相機(jī)所攝取場(chǎng)景數(shù)據(jù)隨著機(jī)械臂移動(dòng)而發(fā) 生變化,適合對(duì)末端操作對(duì)象(比如零件)進(jìn)行G精度局部觀察,也可以靈活調(diào)整 視角,用于精密裝配等應(yīng)用。

Eye-to-Hand:相機(jī)固定安裝在人形機(jī)器人某個(gè)位置(比如頭部),d立于機(jī)械臂 運(yùn)動(dòng)。相機(jī)視角覆蓋整個(gè)工作空間,可實(shí)現(xiàn)全局觀測(cè),適合監(jiān)控機(jī)器人整體運(yùn)動(dòng)軌 跡或大范圍場(chǎng)景,標(biāo)定結(jié)果無需頻繁更新。

2) 如何正確選擇跟交互物體的操作位姿?機(jī)器人抓取檢測(cè)技術(shù)是機(jī)器人領(lǐng)域中的重要 研究方向之一,涉及到機(jī)器人在實(shí)際操作中獲取Z優(yōu)抓取姿態(tài)和位置的能力,從而實(shí)現(xiàn) 有效、穩(wěn)定的抓取動(dòng)作。抓取檢測(cè)技術(shù)的發(fā)展可以分為傳統(tǒng)的解析方法和基于深度學(xué)習(xí) 的方法。傳統(tǒng)的解析法是基于機(jī)械手爪和目標(biāo)物體的運(yùn)動(dòng)學(xué)和動(dòng)力學(xué)關(guān)系進(jìn)行建模,計(jì) 算Z優(yōu)抓取位姿,適合非常準(zhǔn)確場(chǎng)景控制需求,比如工業(yè)機(jī)器人對(duì)物體抓取和移動(dòng),但 受限于環(huán)境復(fù)雜性和泛化能力不足。傳統(tǒng)方法往往需要復(fù)雜的模型和參數(shù)調(diào)整,無法實(shí) 現(xiàn)對(duì)各種場(chǎng)景和物體的智能適應(yīng)。

隨著人工智能和機(jī)器學(xué)習(xí)技術(shù)的不斷發(fā)展,深度學(xué)習(xí)抓取策略持續(xù)導(dǎo)入�；�于深度學(xué)習(xí) 的抓取技術(shù)通過深度神經(jīng)網(wǎng)絡(luò)對(duì)大量圖像數(shù)據(jù)進(jìn)行訓(xùn)練,從而學(xué)習(xí)抓取的正確位置和姿 態(tài),具有更好的泛化能力和適應(yīng)性�；�于深度學(xué)習(xí)的抓取技術(shù)可以分為基于抓取候選框 和基于魯棒性函數(shù)兩類。

基于抓取候選框的方法主要采用滑窗的方法預(yù)先在輸入圖像上生成若干個(gè)感興趣的區(qū) 域,通過卷積神經(jīng)網(wǎng)絡(luò)等模型提取圖像特征,預(yù)測(cè)抓取位置和姿態(tài)。該方法檢測(cè)精度較 G但因會(huì)產(chǎn)生大量的候選框而使得檢測(cè)算法耗時(shí)較長(zhǎng)。目前現(xiàn)存一些機(jī)器人抓取的任務(wù) 基準(zhǔn)數(shù)據(jù)集可以用于抓取位置和姿態(tài)預(yù)測(cè)訓(xùn)練優(yōu)化。比如康奈爾大學(xué)創(chuàng)建的Cornel Grasp數(shù)據(jù)集,即使用KinectV1相機(jī)在真實(shí)場(chǎng)景中采集,涉及240種生活中常見物體 的885張RGB-D圖像和相應(yīng)的三維云點(diǎn)。數(shù)據(jù)特征涵蓋了多樣的對(duì)象形狀和大小及帶 有旋轉(zhuǎn)角度的抓取標(biāo)注框。

基于魯棒性函數(shù)的方法主要通過學(xué)習(xí)抓取質(zhì)量函數(shù),評(píng)估抓取質(zhì)量,進(jìn)而確定Z優(yōu)抓取 位置和姿態(tài)。該方法實(shí)現(xiàn)端到端訓(xùn)練與預(yù)測(cè),算法運(yùn)行速度較快。典型地,智元機(jī)器人 發(fā)布開源仿真數(shù)據(jù)集AgiBotDigitalWoHdDataset,涵蓋五大類場(chǎng)景、180+品類具體物 品等。平臺(tái)基于NVDlA1saac-Sim仿真平合開發(fā)(Sim2Real),可以提供G度逼真的視 覺渲染和準(zhǔn)確的物理模擬。仿真過程中,具身智能數(shù)據(jù)生成引擎可以進(jìn)行豐富的環(huán)境光 照、物體材質(zhì)、物理屬性等隨機(jī)變化,同時(shí)支持多種操作軌跡增強(qiáng)方式,以生成多樣性 和魯棒性的專家軌跡數(shù)據(jù),增強(qiáng)模型泛化能力。目前AgiBotDigitalWord可建立貫穿 專家軌跡生成、模型訓(xùn)練、基準(zhǔn)測(cè)試、部署驗(yàn)證的完整評(píng)估流程,支持對(duì)機(jī)器人的端到 端模型進(jìn)行多面測(cè)試。