基于視覺伺服的草莓采摘機(jī)器人果實(shí)定位方法

第 31 卷 第 22 期 農(nóng) 業(yè) 工 程 學(xué) 報(bào) Vol.31 No.22 2015 年 11 月 Transactions of the Chinese Society of Agricultural Engineering Nov. 2015 25 基于視覺伺服的草莓采摘機(jī)器人果實(shí)定位方法王糧局1，張立博1，段運(yùn)紅2，張鐵中1（1. 中國農(nóng)業(yè)大學(xué)工學(xué)院，北京 100083； 2. 北京卓眾出版有限公司農(nóng)機(jī)事業(yè)部，北京 100083） 摘 要： 為解決基于手眼系統(tǒng)的視覺伺服方法在草莓采摘機(jī)器人應(yīng)用中存在的視覺信息反饋延遲大、頻率低以及深度信息無法確定等帶來的定位耗時(shí)長、精度低的問題，采用攝像機(jī)曝光信號(hào)觸發(fā)控制卡進(jìn)行高速位置鎖存，結(jié)合位置傳感器的反饋信息，來減少定位耗時(shí)；采用基于運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)的方法，提高果實(shí)采摘參數(shù)的精度。在壟坡和攝像機(jī)像平面的夾角為10范圍內(nèi)的情況下，針對(duì)包含 13 粒成熟草莓的果實(shí)域，采用直角坐標(biāo)式機(jī)械臂草莓采摘機(jī)器人樣機(jī)進(jìn)行了定位試驗(yàn)。試驗(yàn)結(jié)果表明：定位時(shí)間在 0.6330.886 s 之間；草莓深度信息的相對(duì)誤差在 4.34%0.95% 范圍內(nèi)。 關(guān)鍵詞：機(jī)器人；視覺伺服；采摘；定位；草莓 doi：10.11975/j.issn.1002-6819.2015.22.004 中圖分類號(hào)：TP242.6 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1002-6819(2015) -22-0025-07 王糧局，張立博，段運(yùn)紅，張鐵中. 基于視覺伺服的草莓采摘機(jī)器人果實(shí)定位方法J. 農(nóng)業(yè)工程學(xué)報(bào)，2015，31(22)：2531. doi ：10.11975/j.issn.1002 -6819.2015.22.004 http:/www.tcsae.org Wang Liangju, Zhang Libo, Duan Yunhong, Zhang Tiezhong. Fruit localization for strawberry harvesting robot based on visual servoingJ. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(22): 2531. (in Chinese with English abstract) doi：10.11975/j.issn.1002 -6819.2015.22.004 http:/www.tcsae.org 0 引 言選擇性果實(shí)采摘是農(nóng)業(yè)上最為耗時(shí)費(fèi)力的作業(yè)環(huán)節(jié)之一， 30 a 來人類一直試圖采用機(jī)器人從事該類作業(yè)。但由于果實(shí)采摘機(jī)器人作業(yè)環(huán)境復(fù)雜，采摘對(duì)象的物理參數(shù)非結(jié)構(gòu)化，因此果實(shí)采摘機(jī)器人的軟硬件系統(tǒng)與工業(yè)機(jī)器人相比更加復(fù)雜，需要專用的視覺系統(tǒng)對(duì)目標(biāo)果實(shí)進(jìn)行識(shí)別定位，并需要專用的末端執(zhí)行器（即采摘手爪）對(duì)果實(shí)進(jìn)行精準(zhǔn)、無損采摘，這些成為采摘機(jī)器人領(lǐng)域主要的研究課題1-5。 其中，對(duì)果實(shí)在世界坐標(biāo)系內(nèi)的定位，目前普遍采用的方法是雙目立體視覺6-7和基于手眼系統(tǒng)的視覺伺服8-10方法。前者由 2 臺(tái)攝像機(jī)分別同時(shí)采集果實(shí)圖像，然后將 2 幅圖像進(jìn)行匹配，利用相匹配點(diǎn)的視差實(shí)現(xiàn)對(duì)目標(biāo)果實(shí)的定位。但由于 2 幅圖像對(duì)應(yīng)點(diǎn)間的匹配算法復(fù)雜，并且對(duì)視覺傳感器參數(shù)一致性和安裝精度要求高，因此實(shí)際作業(yè)時(shí)耗費(fèi)時(shí)間長，實(shí)施難度大11。后者結(jié)構(gòu)相對(duì)簡單，但存在信息反饋延時(shí)大、頻率低以及采摘目標(biāo)深度信息無法確定等問題，為滿足視覺反饋信息的實(shí)時(shí)性，需要增加運(yùn)算量，對(duì)視覺系統(tǒng)硬件性能要求高12-13。此外，最近興起的基于光編碼技術(shù)14和飛行時(shí)間方法15的具有深度信息的攝像機(jī)也應(yīng)用到了采摘機(jī)器人上，但是收稿日期：2015-05-04 修訂日期：2015-10-13 基金項(xiàng)目：國家自然科學(xué)基金資助項(xiàng)目（61375089） 作者簡介：王糧局，男，河南商丘人，博士生，主要研究方向：農(nóng)業(yè)機(jī)器人。北京 中國農(nóng)業(yè)大學(xué)工學(xué)院，100083 。Email ：wangliangjugmail.com 通信作者：張鐵中，男，河北邢臺(tái)人，教授，博士生導(dǎo)師，主要研究方向：農(nóng)業(yè)機(jī)器人，生物生產(chǎn)自動(dòng)化。北京 中國農(nóng)業(yè)大學(xué)工學(xué)院，100083。 Email：zhangtz56163.com 這些方法尚不成熟，精度也不夠高。 由于在草莓栽培中，草莓果實(shí)大致分布在一個(gè)平面內(nèi)，因此草莓果實(shí)的深度信息變化不大，在這種情況下采用視覺伺服定位方法更具優(yōu)越性。針對(duì)基于手眼系統(tǒng)視覺伺服定位方法存在的問題，本文提出一種改進(jìn)的方法。結(jié)合草莓果實(shí)的生長特點(diǎn)，采用攝像機(jī)曝光信號(hào)觸發(fā)控制卡進(jìn)行高速位置鎖存，結(jié)合位置傳感器的反饋信息，實(shí)現(xiàn)了在不加大計(jì)算機(jī)運(yùn)算量的前提下，降低視覺反饋信息延遲大、頻率低的影響，減少定位耗時(shí)；在視覺伺服過程中，采用基于運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)的方法實(shí)現(xiàn)目標(biāo)草莓域深度信息的精確計(jì)算，進(jìn)而提高果實(shí)采摘參數(shù)的精度。 1 草莓采摘機(jī)器人結(jié)構(gòu)及其運(yùn)動(dòng)學(xué)方程 本文所針對(duì)的草莓種植環(huán)境為壟作栽培，其特點(diǎn)為草莓植株種植在壟頂，果實(shí)貼在壟坡，并且在垂直壟坡方向上沒有重疊；采摘作業(yè)過程中除了少許的葉子遮擋外基本沒有別的障礙物16。 草莓采摘機(jī)器人采用直角坐標(biāo)式機(jī)械臂17（圖 1），主要由精密運(yùn)動(dòng)定位機(jī)構(gòu)、末端執(zhí)行器和龍門式行走機(jī)構(gòu)等組成。精密運(yùn)動(dòng)定位機(jī)構(gòu)固定在龍門式行走機(jī)構(gòu)上，能沿壟方向進(jìn)行大范圍運(yùn)動(dòng)；末端執(zhí)行器固定在精密運(yùn)動(dòng)定位機(jī)構(gòu)末端，具有手眼系統(tǒng)。精密運(yùn)動(dòng)定位機(jī)構(gòu)包含 3 個(gè)平動(dòng)自由度，用來精確定位空間位置。在采摘過程中，精密運(yùn)動(dòng)定位機(jī)構(gòu)帶動(dòng)末端執(zhí)行器運(yùn)動(dòng)，當(dāng)成熟果實(shí)在采摘位置時(shí)，末端執(zhí)行器進(jìn)行采摘，采摘過程如文獻(xiàn)18所述；采摘完成后，龍門式行走機(jī)構(gòu)帶動(dòng)精密運(yùn)動(dòng)定位機(jī)構(gòu)移動(dòng) 500 mm 距離， 精密運(yùn)動(dòng)定位機(jī)構(gòu)進(jìn)行下一個(gè)工作循環(huán)。 農(nóng)業(yè)工程學(xué)報(bào)（http:/www.tcsae.org ） 2015 年 26 a. 主視圖 a. Front view b. 左視圖 b. Left view 1.橫梁 2. 龍門式行走機(jī)構(gòu) 3. 水平精密運(yùn)動(dòng)定位機(jī)構(gòu) 4.前伸精密運(yùn)動(dòng)定位機(jī)構(gòu) 5. 豎直精密運(yùn)動(dòng)定位機(jī)械 6. 攝像機(jī) 7. 末端執(zhí)行器 8. 壟坡 9.草莓收集輸送帶 1.Beam with track 2.Gantry walking mechanism 3.Precision positioning mechanism in horizontal direction 4.Precision positioning mechanism in front-back direction 5.Precision positioning mechanism in vertical direction 6.Camera 7.End-effector 8.Ridge 9.Conveyor transporting collected strawberry 圖 1 草莓采摘機(jī)器人機(jī)械結(jié)構(gòu)圖 Fig.1 Mechanical structure of strawbery harvesting robot 草莓采摘機(jī)器人的各坐標(biāo)系如圖 2 所示。 1.橫梁 2. 滑軌式行走機(jī)構(gòu) 3. 精密運(yùn)動(dòng)定位機(jī)構(gòu) 4. 末端執(zhí)行器 5. 壟坡 1.Beam with track 2.Gantry walking mechanism 3.Precision positioning mechanism 4.End-effector 5. Ridge 注：OW為世界坐標(biāo)系的原點(diǎn)；xW、 yW、zW分別為世界坐標(biāo)系 X、Y 、Z 軸，mm；OC為攝像機(jī)坐標(biāo)系的原點(diǎn)； xC、 yC、 zC分別為攝像機(jī)坐標(biāo)系 X、 Y、 Z軸，mm ； 為像平面和壟坡面的夾角，() 。下同。 Note: OWis origin of world coordinate system; xW, yW, zWis respectively X, Y and Z axis of world coordinate system; OCis origin of camera coordinate system; xC, yC, zCis respectively X , Y and Z axis of camera coordinate system; is angle between image plane and ridge plane, (). Same as below. 圖 2 草莓采摘機(jī)器人的坐標(biāo)系 Fig.2 Coordinate system of strawberry harvesting robot 1） OWxWyW為世界坐標(biāo)系，原點(diǎn) OW位于精密運(yùn)動(dòng)定位機(jī)構(gòu)的起始點(diǎn)，OWxW為水平精密運(yùn)動(dòng)定位機(jī)構(gòu)運(yùn)動(dòng)方向， OWyW為豎直精密運(yùn)動(dòng)定位機(jī)構(gòu)運(yùn)動(dòng)方向， OWzW為前伸精密運(yùn)動(dòng)定位機(jī)構(gòu)運(yùn)動(dòng)方向。其中，xWyW坐標(biāo)軸均平行于攝像機(jī)像平面（約定下述所指 X 方向?yàn)?OWxW，Y 方向?yàn)?OWyW， Z 方向?yàn)?OWzW）。理想狀況下，攝像機(jī)平面平行于壟坡平面，且 X 方向平行于壟的長度方向。 2） OCxCyC為攝像機(jī)坐標(biāo)系，原點(diǎn) OC位于攝像機(jī)光心，xCyC坐標(biāo)軸均平行于攝像機(jī)像平面。 在單次采摘草莓過程中，機(jī)械臂沒有旋轉(zhuǎn)運(yùn)動(dòng)，空間一點(diǎn) P 在 2 個(gè)坐標(biāo)系中分別表示為(),WWWWP xyz、( ),CCCCPxyz。兩者之間的坐標(biāo)轉(zhuǎn)換關(guān)系為： () ()WW CWqP q=+CCPR T 式中， ( )WqCR 為坐標(biāo)系旋轉(zhuǎn)變換矩陣； ( )WCqT 為坐標(biāo)系平移變換矩陣。 由機(jī)器人運(yùn)動(dòng)學(xué)方程可得 () ()1310001000101000 1xWWyCzPPqqP=CRT（ 1） 式中， Px、 Py、 Pz是原點(diǎn) OC相對(duì)于原點(diǎn) OW的 3 個(gè)分量。 2 草莓果實(shí)視覺定位原理 在采摘過程中，末端執(zhí)行器夾指末端貼壟坡沿 X 方向運(yùn)動(dòng)，當(dāng)?shù)竭_(dá)目標(biāo)草莓域正下方時(shí)，停止 X 方向的運(yùn)動(dòng)，夾指張開一定的寬度，然后沿壟坡向上（即 Y 方向）運(yùn)動(dòng)，接著機(jī)械臂帶動(dòng)末端執(zhí)行器向 -Z 方向運(yùn)動(dòng)，將草莓拉離壟坡平面，進(jìn)行剪切18。 因此， 在 X 方向?qū)?zhǔn)目標(biāo)草莓域后，只需獲得末端執(zhí)行器到草莓采摘點(diǎn)之間的 Y方向上的距離和草莓域?qū)挾?，即可?shí)現(xiàn)對(duì)目標(biāo)草莓的采摘。 對(duì) X 方向的定位采用改進(jìn)的視覺伺服方法；對(duì)圖像進(jìn)行處理、識(shí)別和分析，并結(jié)合攝像機(jī)投影原理和運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)的方法，得到目標(biāo)草莓域深度信息以及相應(yīng)的采摘參數(shù)，從而確定末端執(zhí)行器 Y 方向的位移和兩夾指的張開寬度。視覺定位流程如圖 3 所示。限于篇幅，本文主要探討 X 方向視覺伺服定位和獲取目標(biāo)草莓域采摘參數(shù)的方法。 圖 3 視覺定位流程圖 Fig.3 Process of vision localization 2.1 雅可比矩陣求取 根據(jù)針孔攝像機(jī)模型投影原理可得 第 22 期 王糧局等：基于視覺伺服的草莓采摘機(jī)器人果實(shí)定位方法 27 1 1CCCCx zuvfyz= （ 2） 式中， (xC,yC,zC)為點(diǎn)在攝像機(jī)坐標(biāo)系中的坐標(biāo)； zC為攝像機(jī)光心到壟面的距離， mm； (u,v)為點(diǎn)在圖像坐標(biāo)系中的坐標(biāo)，像素； f 為攝像機(jī)的焦距， mm。 對(duì)式（ 2）兩邊進(jìn)行微分，可得 22101000 0CCCCCCCCCxzzxu yf yv z zz=tais time required from start of exposure to complete reading image, ms; tsis time required from start of exposure to complete analyzing image, ms; tcis time of image processing and analysis, ms; t1-t4 are times. 圖 4 機(jī)器視覺時(shí)序圖 Fig.4 Timing diagram of machine vision 由采摘過程可得，視覺伺服只針對(duì) X 方向進(jìn)行，故由式（ 5）、（ 6）可得 CWzx uf = （ 8） 式中， u 為草莓域的形心相對(duì)圖像中心的 X 方向位移，像素。由于 u 每隔 ts更新一次，故 xW也每隔 ts更新一次， ts相對(duì)實(shí)時(shí)反饋而言仍太大。為獲得更高更新頻率的xW用于伺服控制，利用由伺服電機(jī)驅(qū)動(dòng)的精密運(yùn)動(dòng)定位機(jī)構(gòu)可獲得 X 軸的實(shí)時(shí)運(yùn)動(dòng)參數(shù)的特點(diǎn)，對(duì) xW進(jìn)行重新計(jì)算。 由式（ 7）、（ 8）可得 Ctazx xuf= + （ 9） 由采摘環(huán)境知， zC變化相對(duì)不大，所以根據(jù)環(huán)境取一近似值即可保證伺服運(yùn)動(dòng)控制在目標(biāo)位置的一鄰域內(nèi)收斂。 根據(jù)草莓域和攝像機(jī)的位置關(guān)系可得 Wtox xx = （ 10） 式中， xo為攝像機(jī)光心在世界坐標(biāo)系的實(shí)時(shí)橫坐標(biāo)， mm；xW為修正后的攝像機(jī)光心到理想位置的偏差， mm。 由于 xt是草莓域在世界坐標(biāo)系的實(shí)際位置，不受圖像采集滯后和圖像數(shù)據(jù)處理耗時(shí)的影響，而且每隔 ts計(jì)算出新值以減小誤差； xo是由伺服電機(jī)實(shí)時(shí)反饋的位置，所以可以實(shí)時(shí)得到 xW。 設(shè) X 方向允許定位誤差為 x（本文取 2 mm），則當(dāng) xW x 時(shí)， X 方向滿足定位要求，精密運(yùn)動(dòng)定位機(jī)構(gòu) X 軸停止運(yùn)動(dòng)。 根據(jù)下式對(duì)精密運(yùn)動(dòng)定位機(jī)構(gòu) X 軸進(jìn)行運(yùn)動(dòng)控制。 農(nóng)業(yè)工程學(xué)報(bào)（http:/www.tcsae.org ） 2015 年 28 0d()() () () ddtnP I Dx tvt k xt k xt t kt= + +（ 11） 式中， x 為 xW， mm； kP、 kI、 kD分別為比例、積分、微分系數(shù)； vn為精密運(yùn)動(dòng)定位機(jī)構(gòu) X 軸控制速度， mm/s。 2.3 采摘參數(shù)求取 當(dāng)末端執(zhí)行器在 X 方向?qū)?zhǔn)目標(biāo)草莓域后，需要得到末端執(zhí)行器到草莓采摘點(diǎn) Y 方向的距離和草莓域的寬度來控制末端執(zhí)行器的上移距離 y（ mm）和張開寬度W2g（ mm）。由于在定位過程中，只存在平移運(yùn)動(dòng)，根據(jù)世界坐標(biāo)系和攝像機(jī)坐標(biāo)系的關(guān)系，相對(duì)攝像機(jī)光心的采摘參數(shù)在兩坐標(biāo)系內(nèi)是一致的，如圖 5 所示。 注：xcl、xcr分別為草莓域左、右端 X 坐標(biāo)， mm；yct草莓域頂端 Y 坐標(biāo)，mm。下同。 Note: xcl, xcris respectively X coordinate of strawberry regions left and right border, mm; yctis Y coordinate of srawberry regions top border, mm. Same as below. 圖 5 草莓采摘參數(shù)示意圖 Fig.5 Parameters of harvesting strawberries 由圖 5 可得 ct syy l H= + （ 12） 2gcrclWxx g=+ （ 13） 式中， ls為采摘留梗長度， mm； H 為 Y 方向 OC到末端執(zhí)行器中心的距離， mm； W2g為兩夾指間距， mm； g為兩夾指的張開寬度和目標(biāo)果實(shí)域的寬度的差值，取2 mm。 由式（ 2），可得 Cct tzyvf= （ 14） ()Ccr cl r lzx xuuf= （ 15） 式中， vt為草莓域頂端的像素坐標(biāo)，像素； ul、 ur分別為草莓域左、右端的像素橫坐標(biāo)，像素。 由式（ 12）和式（ 14），可得 CtszyvlHf= + （ 16） 由式（ 13）和式（ 15），可得 ()2CgrlzWuugf=+ （ 17） 2.4 深度計(jì)算方法 雖然 zC取一近似值，就可保證末端執(zhí)行器在目標(biāo)位置附近收斂，但由式（ 16）（ 17）知，采摘參數(shù)的精度和zC相關(guān)。因此，為提高采摘參數(shù)的精度，需要提高 zC的精度，采用文獻(xiàn)20中的運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)的方法精確計(jì)算 zC。 由于所采用攝像機(jī)畸變較小，在視覺伺服運(yùn)動(dòng)過程中只進(jìn)行水平運(yùn)動(dòng)，草莓果實(shí)尺寸相比 zC小很多，所以認(rèn)為草莓域的形心和輪廓線的深度信息是一致的，且不變。 視覺伺服運(yùn)動(dòng)過程中，精密運(yùn)動(dòng)定位機(jī)構(gòu)只進(jìn)行 X方向的平動(dòng)。假設(shè)攝像機(jī)在任意位置 A 處獲得第一幅圖像，在世界坐標(biāo)系中運(yùn)動(dòng) T(tx,ty,tz)到另一位置 B 處獲得另一幅圖像，兩幅圖像中包含同一草莓域的完整輪廓。設(shè)草莓域輪廓的形心為 P，在 2 幅圖像中，像素坐標(biāo)分別為(u1,v1)， (u2,v2)；在 A、 B 兩處點(diǎn) P 在攝像機(jī)坐標(biāo)系的坐標(biāo)分別為 PC1(xC1,yC1,zC1)、 PC2(xC2,yC2,zC2)。根據(jù)采摘過程中精密運(yùn)動(dòng)定位機(jī)構(gòu)運(yùn)動(dòng)的特點(diǎn)得出 21CC=+PPT ;0;0xt=T 矩陣形式為 21212100CCxCCCCx xtyyzz =+ （ 18） 由式（ 2）和式（ 18）可得 2122 11110011xCCtuuzvzvff =+ 即： 1221xCC Cf tzz zuu=（ 19） 3 試驗(yàn)與結(jié)果分析 3.1 試驗(yàn)裝置及參數(shù) 搭建的草莓采摘機(jī)器人試驗(yàn)平臺(tái)如圖 6，各組成部分參數(shù)如表 1。試驗(yàn)中使用仿真草莓模型替代真實(shí)草莓，用塑料板模擬壟坡面。采用文獻(xiàn)21中的采摘執(zhí)行機(jī)構(gòu)，文獻(xiàn)18中的末端執(zhí)行器和采摘方法，進(jìn)行草莓定位試驗(yàn)。 圖 6 草莓采摘試驗(yàn)平臺(tái) Fig.6 Experimental platform of harvesting strawberries 第 22 期 王糧局等：基于視覺伺服的草莓采摘機(jī)器人果實(shí)定位方法 29 表 1 草莓果實(shí)定位試驗(yàn)平臺(tái)參數(shù) Table 1 Parameters of fruit localization experimental platform 類別 Category 型號(hào) Model 備注 Remark 攝像機(jī) Camera DH-SV1421GC 140 MP， 15 fps 曝光時(shí)間 1 ms鏡頭 Camera lens Computar M0814 焦距 8 mm 運(yùn)動(dòng)控制卡 Motion controller DMC-2280 電機(jī)驅(qū)動(dòng)器 Motor driver AMP19540 電機(jī) Motor Maxon RE40 編碼器 Encoder HEDL5540 1 000 線 處理器 CPU I5-3470 開發(fā)環(huán)境 IDE Visual studio 2012 3.2 定位精度評(píng)價(jià)指標(biāo) 設(shè)定式（ 9）中 zC為定位完成時(shí)實(shí)際測(cè)量的攝像機(jī)光心到壟面的距離， mm。 zC的相對(duì)誤差為 CCCzzz = 式中， zC為計(jì)算所得距離， mm。 由式（ 16）可知， Y 方向末端執(zhí)行器到草莓采摘點(diǎn)的距離 y 的相對(duì)誤差為 CC CC CCtt tyyiCC Cts ts tzz zz zzvv vff fzz zvl H vl vff f =+ + （ 20） 式中， yi為 Y 方向攝像機(jī)光心到草莓采摘點(diǎn)距離的相對(duì)誤差。 由式（ 20）可知， y 的絕對(duì)誤差為 max maxyyieH H （ 21） 式中， Hmax為 Y 方向攝像機(jī)光心到草莓采摘點(diǎn)的最大距離，取攝像機(jī)視野高度的一半，約 75 mm。 由式（ 17）可知，兩夾指間距 W2g的相對(duì)誤差為 ()()()()CC CCrl rlwrl rlzz zzuu uuffuu g uu =+ （ 22） 由式（ 22）可知，兩夾指間距 W2g的絕對(duì)誤差為 maxweW （ 23） 式中， Wmax為工作過程中，兩夾指需張開的最大寬度，目標(biāo)果實(shí)域草莓為 3 粒時(shí)取 94 mm18。 由式（ 21）和式（ 23）可知，當(dāng)攝像機(jī)光心到壟面的距離 zC的相對(duì)誤差滿足一定要求時(shí)， Y 方向末端執(zhí)行器到草莓采摘點(diǎn)的距離 y，以及兩夾指間距 W2g即可滿足采摘要求。因此只需對(duì) zC誤差進(jìn)行評(píng)價(jià)，不需對(duì) y和 W2g的誤差再進(jìn)行評(píng)價(jià)。 3.3 試驗(yàn)設(shè)計(jì) 在實(shí)際中，即使機(jī)械化起壟，壟坡在 X 方向仍不可能完全在同一平面上。但由于草莓域開始進(jìn)入攝像機(jī)視野到定位完成， X 方向的運(yùn)動(dòng)少于 100 mm，可認(rèn)為在這段很小的長度內(nèi)壟坡是一個(gè)平面。但由于行走機(jī)構(gòu)在前進(jìn)方向難以與壟坡面始終平行，攝像機(jī)像平面和壟坡面會(huì)出現(xiàn)夾角 （如圖 2）。因此，本文只需要考慮夾角 對(duì)定位精度和定位時(shí)間的影響。 以目標(biāo)果實(shí)域草莓粒數(shù) n 和夾角 為試驗(yàn)因素，定位耗時(shí) t 和攝像機(jī)光心到壟面的距離 zC的相對(duì)誤差 為評(píng)價(jià)指標(biāo)，設(shè)計(jì)雙因素完全試驗(yàn)。每組試驗(yàn)進(jìn)行 5 次，每次記錄從攝像機(jī)視野中開始出現(xiàn)目標(biāo)果實(shí)到定位完成耗時(shí) t 和相對(duì)誤差 。 所采用的末端執(zhí)行器最多可以一次采摘 3粒草莓18，故分別取 n=1， 2， 3。機(jī)械化起壟和龍門式的行走機(jī)構(gòu)可以保證夾角 很小，但為了能廣泛地適用于不同的草莓栽培模式，將 范圍放大至 10 10， 分別取 =0、 5、10。3.4 試驗(yàn)結(jié)果與分析 對(duì)試驗(yàn)數(shù)據(jù)進(jìn)行方差分析，草莓粒數(shù)、夾角 值以及兩者的交互作用對(duì)定位時(shí)間的影響都顯著（ P分別為 0，0.001， 0.0383）；草莓粒數(shù)對(duì)相對(duì)誤差 影響不顯著（ P=0.752），夾角 值對(duì)相對(duì)誤差 影響顯著（ P=0），草莓粒數(shù)和夾角 值的交互作用對(duì)其影響也顯著（ P=0）。試驗(yàn)結(jié)果如表 2 所示。 表 2 草莓采摘機(jī)器人果實(shí)定位試驗(yàn)結(jié)果 Table 2 Test results of fruit localization of strawberry harvesting robot 1 粒草莓 1 strawberry 2 粒草莓 2 strawberries 3 粒草莓 3 strawberries 平均 Mean 夾角 Angle /() 定位耗時(shí)Localization time t/s 相對(duì)誤差Relative error /% 定位耗時(shí)Localization time t/s 相對(duì)誤差Relative error /% 定位耗時(shí)Localization time t/s 相對(duì)誤差Relative error /% 定位耗時(shí)Localization time t/s 相對(duì)誤差Relative error /% 10 0.634 2.83 0.753 1.29 0.845 3.65 0.7438 2.59 5 0.646 1.22 0.742 3.47 0.837 0.09 0.7417 1.53 0 0.633 4.34 0.728 3.52 0.886 3.33 0.7497 3.73 5 0.687 1.28 0.768 0.97 0.873 2.70 0.7758 1.65 10 0.685 0.90 0.768 0.95 0.862 0.74 0.7715 0.86 平均 Mean 0.6568 1.75 0.7517 1.66 0.8604 1.77 0.7563 1.73 標(biāo)準(zhǔn)誤 SE 0.0324 0.074 0.0293 0.122 0.0329 0.159 - - 注： 為像平面和壟面間的夾角； 為攝像機(jī)光心到壟面距離的相對(duì)誤差。 Note: is angle between image plane and ridge plane; is relative error of distance between optical center and ridge plane. 夾角 值相同時(shí)， 定位時(shí)間隨著果實(shí)粒數(shù)的增加而增加；主要因?yàn)椴葺麑?shí)完全進(jìn)入攝像機(jī)視野中前，較多粒數(shù)的果實(shí)在圖像中的形心距光心偏近，使得 x 偏小（如圖 7），根據(jù)式（ 11），這會(huì)導(dǎo)致控制速度偏小，所以定位時(shí)間較長。 農(nóng)業(yè)工程學(xué)報(bào)（http:/www.tcsae.org ） 2015 年 30 圖 7 夾角 =0 時(shí)草莓形心距光心距離的變化曲線 Fig.7 Change curve of distance between strawberries centroid and optical center when angle =0 的相對(duì)誤差 基本不為正值，主要是因?yàn)椴葺茩E球體，并不是平面圖形，剛完全進(jìn)入視野時(shí)和在視野中心時(shí)的果實(shí)形心并不相匹配。剛進(jìn)入視野時(shí)的果實(shí)形心偏?。ㄈ鐖D 8），即式（ 19）中 u1偏小，而 u2基本沒有偏差，所以計(jì)算得到的深度較實(shí)際偏小，相對(duì)誤差 為負(fù)。此外， 1粒、 2 粒、 3 粒果實(shí)的相對(duì)誤差 的標(biāo)準(zhǔn)誤逐漸增大，可見果實(shí)域越寬，相對(duì)誤差 越不穩(wěn)定，主要是因?yàn)楣麑?shí)完全進(jìn)入攝像機(jī)視野時(shí)，果實(shí)域越寬，其形心和目標(biāo)位置的距離越?。ㄈ鐖D 7），即式（ 19）中的 tx和 u2u1越小，這樣較小的 tx或者 u 的偏差就會(huì)使得 zC誤差較大。 a. 草莓剛進(jìn)入圖像 a.Strawberry just fully in image b. 草莓在圖像中心 b.Strawberry on center of image 注：黑線為實(shí)際左右輪廓線沿光軸方向在壟坡上的投影。 Note: Black lines are left and right outlines projection on ridge in optical axis direction. 圖 8 夾角 對(duì)圖像中草莓形心的影響示意圖 Fig.8 Effect of angle on strawberries centroid in image 對(duì)少于 3 粒草莓的果實(shí)域，壟坡和攝像機(jī)像平面的夾角在 10 10范圍內(nèi)進(jìn)行定位試驗(yàn)，定位時(shí)間在0.633 0.886 s 之間；定位過程中計(jì)算所得相對(duì)誤差 在4.34%和 0.95%之間。由式（ 21）， y 的絕對(duì)誤差為3.26 mm，所以式（ 16）中的留梗長度 ls需大于該值；由式（ 23），兩夾指間距 W2g的絕對(duì)誤差為 4.08 mm，又 X方向視覺伺服定位允許定位誤差為 2 mm，所以 W2g的最終絕對(duì)誤差為 6.08 mm，根據(jù)文獻(xiàn)18，僅考慮定位誤差的影響，該末端執(zhí)行器采摘成功率高于 98.3%。 4 結(jié) 論 1）針對(duì)壟作草莓栽培模式，采用基于手眼系統(tǒng)的視覺伺服方法實(shí)現(xiàn)了對(duì)草莓果實(shí)在水平方向的精確定位。在視覺伺服過程中，采用攝像機(jī)曝光信號(hào)觸發(fā)控制卡高速鎖存位置信息的方法，解決了視覺信息滯后所造成的和位置信息在時(shí)間上不一致的問題；采用融合位置信息的方法，解決了視覺位置信息反饋頻率低的問題。 2）在視覺伺服過程中，采用運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)的方法，利用在不同位置所采集的圖像中草莓域的形心，推導(dǎo)出了目標(biāo)草莓域的深度信息的精確計(jì)算方法，進(jìn)而得到精確的果實(shí)采摘參數(shù)。 3）通過對(duì)實(shí)際作業(yè)環(huán)境的特點(diǎn)和定位精度評(píng)價(jià)指標(biāo)進(jìn)行分析，設(shè)計(jì)了草莓采摘機(jī)器人的果實(shí)定位試驗(yàn)。試驗(yàn)結(jié)果表明：在壟坡和攝像機(jī)像平面的夾角為 10 10的情況下，對(duì)包含 1 3 粒成熟草莓的果實(shí)域，本研究的定位時(shí)間為 0.633 0.886 s；草莓域深度信息的相對(duì)誤差在 4.34% 0.95%范圍內(nèi)。 參 考 文 獻(xiàn) 1 徐麗明，張鐵中. 果蔬果實(shí)收獲機(jī)器人的研究現(xiàn)狀及關(guān)鍵問題和對(duì)策J. 農(nóng)業(yè)工程學(xué)報(bào)，2004，20(5)：3842. Xu Liming, Zhang Tiezhong. Present situation of fruit and vegetable harvesting robot and its key problems and measures in applicationJ. Transactions of the Chinese Society of Agricultural Engineering(Transactions of the CSAE), 2004, 20(5): 38 42.(in Chinese with English abstract) 2 宋健，張鐵中，徐麗明，等. 果蔬采摘機(jī)器人研究進(jìn)展與展望J. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2006，37(5)：158162. Song Jian, Zhang Tiezhong, Xu Liming, et al. Research actuality and prospect of picking robot for fruits and vegetablesJ. Transactions of the Chinese Society for Agricultural Machinery, 2006, 37(5): 158 162.(in Chinese with English abstract) 3 李秦川，胡挺，武傳宇，等. 果蔬采摘機(jī)器人末端執(zhí)行器研究綜述J. 農(nóng)業(yè)機(jī)械學(xué)報(bào)， 2008， 39(3)： 175179， 186. Li Qinchuan, Hu Ting, Wu Chuanyu, et al. Review of end-effectors in fruit and vegetable harvesting robotJ. Transactions of the Chinese Society for Agricultural Machinery, 2008, 39(3): 175 179, 186.(in Chinese with English abstract) 4 張鐵中，楊麗，陳兵旗，等. 農(nóng)業(yè)機(jī)器人技術(shù)研究進(jìn)展J. 中國科學(xué)：信息科學(xué)，2010(增刊 1)：7187. Zhang Tiezhong, Yang Li, Chen Bingqi, et al. Research progress of agricultural robot technologyJ. Scientia Sinica Informationis, 2010(Supp.1): 71 87.(in Chinese with English abstract) 5 Bac C Wouter, Van Henten Eldert J, Hemming Jochen, et al. Harvesting robots for high-value crops: State-of-the-art review and challenges aheadJ. Journal of Field Robotics, 2014, 31(6): 888911. 6 周俊，劉銳，張高陽. 基于立體視覺的水果采摘機(jī)器人系統(tǒng)設(shè)計(jì)J. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2010，41(6)：158162. Zhou Jun, Liu Rui, Zhang Gaoyang. Design of fruit harvesting robot based on stereo visionJ. Transactions of the Chinese Society for Agricultural Machinery, 2010, 41(6): 158162.(in Chinese with English abstract) 7 Hayashi Shigehiko, Shigematsu Kenta, Yamamoto Satoshi, et al. Evaluation of a strawberry-harvesting robot in a field testJ. Biosystems Engineering, 2010, 105(2): 160171. 8 Mehta S S, Burks T F. Vision-based control of robotic manipulator for citrus harvestingJ. Computers and Electronics in Agriculture, 2014, 102(1): 146158. 9 Zhao De-An, L Jidong, Ji Wei, et al. Design and control of an apple harvesting robotJ. Biosystems Engineering, 2011, 110(2): 112122. 10 張凱良，楊麗，王糧局，等. 高架草莓采摘機(jī)器人設(shè)計(jì)與試驗(yàn)J. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2012，43(9)：165172. Zhang Kailiang, Yang Li, Wang Liangju, et al. Design and experiment of elevated substrate culture strawberry picking robotJ. Transactions of the Chinese Society for Agricultural Machinery, 2012, 43(9): 165 172.(in Chinese with English abstract) 11 白明，莊嚴(yán)， 王偉 . 雙目立體匹配算法的研究與進(jìn)展J. 控制與決策，2008，23(7)：721729. Bai Ming, Zhuang Yan, Wang Wei. Progress in binocular stereo matching algorithmsJ. Control and Decision, 2008, 23(7): 721729.(in Chinese with English abstract) 第 22 期 王糧局等：基于視覺伺服的草莓采摘機(jī)器人果實(shí)定位方法 31 12 王麟琨，徐德，譚民 . 機(jī)器人視覺伺服研究進(jìn)展J. 機(jī)器人，2004，26(3)：277282. Wang Linkun, Xu De, Tan Min. Survey of research on robotic visual servoingJ. Robot, 2004, 26(3): 277282.(in Chine