溫室番茄采摘機器人系統(tǒng)設(shè)計.pdf

25 農(nóng)業(yè)裝備農(nóng)業(yè)開發(fā)與裝備 2023年第10期 溫室番茄采摘機器人系統(tǒng)設(shè)計 姬麗雯 1 2 張 豪 1 吳 丹 1 2 高 帥 1 2 1 江蘇農(nóng)林職業(yè)技術(shù)學(xué)院機電工程學(xué)院 江蘇句容 212400 2 江蘇省現(xiàn)代農(nóng)業(yè)裝備工程中心 江蘇句容 212400 摘要 設(shè)計了一種應(yīng)用于溫室番茄采摘的機器人 該 機器人可以在溫室中自動規(guī)劃路徑 并識別和采摘成 熟番茄 設(shè)計以分布式計算系為主控制網(wǎng)絡(luò) 以激光 雷達(dá)進(jìn)行移動機器人的地圖構(gòu)建與定位 視覺系統(tǒng)智 能識別番茄進(jìn)行3 D定位 通過視覺系統(tǒng)軟件開發(fā)結(jié)合 雙目相機硬件結(jié)構(gòu)實現(xiàn)果實的精準(zhǔn)識別和定位 關(guān)鍵詞 番茄采摘機器人 路徑規(guī)劃 視覺系統(tǒng) 0 引言 在果蔬作業(yè)生產(chǎn)鏈中 采摘作業(yè)是整個生產(chǎn)鏈中 最耗時 費力的環(huán)節(jié) 且采摘作業(yè)存在季節(jié)性強 勞 動強度大 投入費用高的特點 因此農(nóng)業(yè)采摘機器人 研究發(fā)展有極強的現(xiàn)實意義 1 2 國內(nèi)農(nóng)業(yè)機器人發(fā) 展相對于國外比較晚 但經(jīng)歷多年的不斷的研究和 發(fā)展 也取得了一定的成就 江蘇大學(xué)研制了番茄采 摘機器人 將 RGB顏色空間轉(zhuǎn)換成 HIS顏色空間 王 沈輝等人基于神經(jīng)網(wǎng)絡(luò) 創(chuàng)建了雙目立體視覺實驗的 平臺 魏博等設(shè)計了一種欠驅(qū)動式柑橘采摘末端執(zhí)行 器 通過三個雙連桿并聯(lián)式手指充分抓握和偏轉(zhuǎn)融合 控制 實現(xiàn)柑橘的穩(wěn)定采摘 使用的末端執(zhí)行器具有 適應(yīng)性強 抓取穩(wěn)定等優(yōu)點 但只在手指內(nèi)部貼有軟 硅橡膠的設(shè)計無法避免果實采摘時的破損 將影響果 實的品質(zhì) 3 于豐華等將機器人的機械臂擴展到6自由 度 機械臂搭載了附有薄膜壓力傳感器的柔性手爪 基于R FCN卷積神經(jīng)網(wǎng)絡(luò)視覺識別技術(shù) 設(shè)計了以番 茄為采摘對象的移動機器人 但是機器人必須通過巡 線相機識別溫室內(nèi)定位膠帶來完成巡檢和采摘 移動 的靈活性受到限制 4 雖然采摘機器人的研究較多 但 研究深度還有待進(jìn)一步提高 本文設(shè)計了一款溫室番茄采摘機器人 采用同時 定位和地圖構(gòu)建實現(xiàn)機器人的路徑規(guī)劃 雙目深度相 機實現(xiàn)對成熟番茄的識別和定位 搭載柔性仿生夾爪 的 6自由度機械 臂實現(xiàn)目標(biāo)番茄的抓取和放置 1 采摘機器人系統(tǒng)功能設(shè)計 番茄的培育模式主要有地面土培和基質(zhì)高架培 育 其中高架基質(zhì)栽培可改善勞動姿勢 減輕勞動強 度 實現(xiàn)省省力化栽培而且能夠克服連作障礙 實現(xiàn)清 潔化生產(chǎn) 5 本文的農(nóng)業(yè)采摘機器人是以溫室高架番茄 為采摘對象進(jìn)行研究 溫室番茄栽培模式如圖1所示 圖 1 溫室番茄栽培模式 采摘機器人的硬件結(jié)構(gòu)圖如圖2所示 包括激光雷 達(dá) 3 D相機 六自由度機械臂 仿 生手爪等 采摘機 器人的底盤用于承載整個車身 6個輪式電機動力驅(qū) 動 6個舵機轉(zhuǎn)向驅(qū)動 可前后左右行駛 可實現(xiàn)0度 到360度原地轉(zhuǎn)彎 RS232通信控制 此小車地盤是全 地形越野地盤 6輪6驅(qū)獨立懸掛獨立轉(zhuǎn)向 整車 最大負(fù)載為200 kg 轉(zhuǎn)彎半徑為0至無窮大 可原地旋 轉(zhuǎn) 爬坡能力為最大35度 工作電壓為24 55 V 控制 模式為閉環(huán)控制 圖 2 采摘機器人硬件系統(tǒng)結(jié)構(gòu) 軟件開發(fā)使用 1 計算機 相機 將機器人控制 器 3D相機等關(guān)聯(lián)起來開發(fā)圖像識別和采摘系統(tǒng) 2 基金項目 江蘇省大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計劃項目 202013103 077y 作者簡介 姬麗雯 1989 女 山東曲阜人 碩士 研究方 向為智能農(nóng)業(yè)裝備與技術(shù) 26 農(nóng)業(yè)裝備 農(nóng)業(yè)開發(fā)與裝備 2023年第10期 計算機 底盤 將激光雷達(dá)和小車底盤關(guān)聯(lián)起來開發(fā) 小車導(dǎo)航系統(tǒng)拓展功能 3 計算機 客戶端 遠(yuǎn)程操 控使用 各計算機的連接拓?fù)淙鐖D 3所示 圖3 各計算機連接拓?fù)?機器人采摘流程如圖 4所示 機器人通過激光雷達(dá) 構(gòu)建環(huán)境地圖用做車輛導(dǎo)航 地圖構(gòu)建完成以后可以 進(jìn)入采摘環(huán)節(jié) 機器人開始移動 并使用雙目攝像頭 進(jìn)行拍照識別 如果檢測到成熟番茄 則停止識別并 對目標(biāo)番茄進(jìn)行定位 引導(dǎo)機器人進(jìn)行采摘動作并釋 放到果籃處 再回到采摘初始位置 若采摘目標(biāo)位置 超過設(shè)置界限 不執(zhí)行采摘動作 圖 4 機器人采摘流程圖 2 采摘機器人導(dǎo)航系統(tǒng) 本機器人采用了思嵐 RPLIDAR A3紅外激光雷達(dá) 通過串口與 Raspberry Pi 4B相連 激光雷達(dá)的主要技術(shù) 參數(shù)如表1所示 表1 RPLIDAR A3激光雷達(dá)主要技術(shù)參數(shù) 項目 典型值 測量距離 25m 掃描范圍 360 采樣頻率 16000次 s 掃描頻率 15Hz 角度分辨率 0 225 測距相對誤差 1 現(xiàn)在需要構(gòu)建地圖和路徑規(guī)劃 因為到達(dá)一個新 的環(huán)境是必須進(jìn)行的一個操作 6 9 此過程需要激光雷 達(dá)和遠(yuǎn)程工控機 通過無線網(wǎng)絡(luò)使用遠(yuǎn)程工控機 控 制底盤控制系統(tǒng) 10 12 緊接著發(fā)出構(gòu)建地圖和規(guī)劃路 徑指令 驅(qū)動激光雷達(dá)開始規(guī)建 同時使用遙控裝置 進(jìn)行提高路徑的正確性和在遠(yuǎn)程控制電腦上地圖完整 性 隨著地圖構(gòu)建完成將采摘車遙控至起點位置 然 后遠(yuǎn)程發(fā)送指令 并保存地圖 然后對路徑進(jìn)行人工 規(guī)劃 設(shè)立原點 采摘點 返回位置 并上傳至底盤 控制系統(tǒng) 3 采摘機器人視覺系統(tǒng) 采摘機器人使用3D相機拍攝番茄 可以獲取將被 采摘番茄的立體圖像信息 3D相機可以通過智能識別 算法識別出成熟番茄 然后通過計算機立體圖像識別 和3D的位置信息分析 最后實現(xiàn)番茄的立體定位 本 文中采用的3D相機是小覓智能的雙目深度相機 這款 3D相機相關(guān)參數(shù)為 線路板尺寸大小為90 26 mm 總 尺寸為124 33 3 32 5 mm 分辨率分別為2 560 720 1 280 480 深度分辨率為1 280 720 640 480 像素 尺寸3 75 3 75 um IR可探測距離為3 m 3 1 視覺識別 使用基于新算子的OTSU分割方法 將背景與目標(biāo) 進(jìn)行區(qū)分 最大類間方差算法 OTSU 是由日本學(xué)者 大津展之提出的 這種算法整個過程如下 1 選擇其中一個 具有代表性的灰度值 記為k 他一般分為兩個準(zhǔn)類 分別是C 1 K 1 m 和 C 0 1 K 則每一類產(chǎn)生的概率分別為 1 2 C 0 C 1 平均灰度值 2 27 農(nóng)業(yè)裝備農(nóng)業(yè)開發(fā)與裝備 2023年第10期 3 整體平均灰度值為 3 4 C 0 C 1 兩類之間的方差 4 5 通過遍歷求得 k 的值 使得 5 6 k 即為所求 以該值為閾值來對圖像進(jìn)行分割 3 2 視覺標(biāo)定 由于相機視野中捕獲目標(biāo)物體的坐標(biāo)系與機器人 坐標(biāo)系不一致 它們各自的坐標(biāo)沒有聯(lián)系 所以為了 使兩者坐標(biāo)系形成關(guān)聯(lián) 以便引導(dǎo)機器人進(jìn)行采摘 故需要將相機的坐標(biāo)系變換到機器人坐標(biāo)系中 即進(jìn) 行標(biāo)定 13 15 要完成機器人與物體的坐標(biāo)變換標(biāo)定 需要一個 矩陣 4 x4 這個矩陣包含著一個旋轉(zhuǎn)矩陣 3X3 和一個平移矩陣 1X3 變換矩陣由旋轉(zhuǎn)矩陣和平移 矩陣組成 我們以機械臂末端坐標(biāo)系到機械臂基底坐 標(biāo)系變換矩陣為例進(jìn)行說明 轉(zhuǎn)換矩陣表示如公式 6 end 1 nullnullnull nullnullnull nullnullnull null null null null 0 6 其中 nullnullnull null null 機械臂末端坐標(biāo)系到機械臂基底坐標(biāo) 系的旋轉(zhuǎn)矩陣 它為 3x3 矩陣 nullnullnull null null 機械臂末端坐標(biāo)系到機械臂基底坐標(biāo)系的平 移矩陣 它為 3x1 矩陣 具體的標(biāo)定步驟為 1 選取合適的四個標(biāo)定點 四個標(biāo)定點應(yīng)該差異 化 比如遠(yuǎn)近位置各不相同 同時又應(yīng)該在相機的拍 攝范圍和機械臂的可采摘范圍之內(nèi) 2 運行采摘機器人軟件 確保機器人在采摘初始 位置 點擊識別采摘 相機在初始采摘位置拍照 識 別出果實 使用TeamViewer遠(yuǎn)程控制相機計算機 使 用相機計算機提供的ImageJ軟件在相機計算機標(biāo)定出 果實位置 如圖 5 a 所示 3 利用示教器遙控機械臂到當(dāng)前標(biāo)定點所在的果 實位置 記錄下示教器的位置X Y Z值 得到機器 人坐標(biāo)系 如圖 5 b 所示 4 將數(shù)據(jù)填入小覓相機內(nèi)參列表中 將標(biāo)定數(shù) 據(jù)填入農(nóng)業(yè)采摘機器人軟件平臺中 點擊生成變換矩 陣 保存變換矩陣 至此標(biāo)定完成 3 3 基于雙目視覺的目標(biāo)番茄定位 雙目視覺目標(biāo)定位示意圖如圖6所示 采用兩臺內(nèi) 參數(shù)完全一致的相機 C L 和 C R 從左右兩個視角獲取目 標(biāo)物體的圖像 分別為左平面圖和右平面圖 目標(biāo)物 體在左右平面圖上存在兩個投影點 P L 和 P R 根據(jù)兩相 機的擺放位置 以及投影點的位置 利用三角形相似 原理便可以計算出目標(biāo)物體的三維坐標(biāo)信息 a 相機坐標(biāo)系 b 機器人坐標(biāo)系 圖 5 視覺標(biāo)定圖片 圖6 雙目視覺目標(biāo)定位示意圖 計算三維場景中目標(biāo)點在左右兩個視圖上形成的 視差 首先要把該點在左右視圖上兩個對應(yīng)的投影點 匹配起來 然而 在二維空間上匹配對應(yīng)點是非常耗 時的 為了減少匹配搜索范圍 需要進(jìn)行雙目相機的 立體校正 將二維上的匹配搜索降低到一維 圖7 立體校正后的雙目視覺目標(biāo)定位示意圖 立體校正就是利用極線約束將左右兩個視圖平面 的對極線限制在同一水平線上 這樣一幅圖像上任意 28 農(nóng)業(yè)裝備 農(nóng)業(yè)開發(fā)與裝備 2023年第10期 一點與其在另一幅圖像上的對應(yīng)點就必然具有相同的 行號 只需在該行進(jìn)行一維搜索即可匹配到對應(yīng)點 使用 Opencv雙目相機校正函數(shù)進(jìn)行立體校正 校正后 的雙目視覺目標(biāo)定位示意圖如圖 7所示 此時對極線與 相機的連線 基線 平行 左右成像平面共面 圖8 雙目視覺相機平面示意圖 雙目視覺相機平面示意圖如圖8所示 目標(biāo)物體 P X Y Z 在左右相機的投影點分別為PL和PR 經(jīng)過立體校正后 兩者的連線與基線平行 投影點PL 和PR在左右平面的坐標(biāo)分別為 xL yL 和 xR yR 相機焦距為f 左右相機基線為b 利用三角形 相似原理 求出P X Y Z 的空間坐標(biāo)為 null null null null null null null null null null null null null null 7 4 試驗與結(jié)果分析 機器人的遠(yuǎn)程執(zhí)行軟件界面如圖9所示 界面可 以實時顯示采摘目標(biāo) 及對應(yīng)的相機坐標(biāo)和機器人坐 標(biāo) 6自由度機械臂的角度等信息 機器人的遠(yuǎn)程執(zhí)行 軟件界面還可以遠(yuǎn)程控制機器人動作 保障采摘系統(tǒng) 作業(yè)安全 試驗于江蘇省農(nóng)博園番茄溫室中進(jìn)行 機器人在室 內(nèi)無光照環(huán)境下進(jìn)行采摘 觀察其采摘機器人整體試驗 數(shù)據(jù)如表2所示 對采摘機器人視覺系統(tǒng)的檢測坐標(biāo)和 機器人手爪坐標(biāo)進(jìn)行了分析 其誤差都還在可以允許范 圍之內(nèi) 自主番茄采摘機器人成功率達(dá)到 85 左右 5 結(jié)論 本文設(shè)計一款農(nóng)業(yè)采摘機器人 該機器人可以在 番茄溫室中采用同時定位和地圖構(gòu)建自主路徑規(guī)劃 使用雙目視覺攝像頭可完成對成熟草莓的自動識別和坐 標(biāo)定位 成熟草莓識別率大概在 85 滿足采摘要求 參考文獻(xiàn) 1 羅錫文 廖娟 胡煉 等 提高農(nóng)業(yè)機械化水平促進(jìn)農(nóng)業(yè)可 持續(xù)發(fā)展 J 農(nóng)業(yè)工程學(xué)報 2016 32 01 1 11 2 謝斌 武仲斌 毛恩榮 農(nóng)業(yè)拖拉機關(guān)鍵技術(shù)發(fā)展現(xiàn)狀與 展望 J 農(nóng)業(yè)機械學(xué)報 2018 49 08 1 17 3 魏博 何金銀 石陽 等 欠驅(qū)動式柑橘采摘末端執(zhí)行器設(shè) 計與試驗 J 農(nóng)業(yè)機械學(xué)報 2021 52 10 120 128 4 于豐華 周傳琦 楊鑫 等 日光溫室番茄采摘機器人設(shè)計 與試驗 J 農(nóng)業(yè)機械學(xué)報 2022 53 1 41 49 5 湯亞東 番茄智能采摘機構(gòu)優(yōu)化設(shè)計及試驗研究 D 鄭 州 河南農(nóng)業(yè)大學(xué) 2018 圖 9 遠(yuǎn)程執(zhí)行軟件界面 29 農(nóng)業(yè)裝備農(nóng)業(yè)開發(fā)與裝備 2023年第10期 6 楊光友 倪博文 李江 等 水田作業(yè)農(nóng)業(yè)機器人平臺設(shè)計 J 農(nóng)機化研究 2021 43 07 51 57 7 Qiu Q Fan Z Meng Z et al Extended ackerman steering principle for the coordinated movement control of a four wheel drive agricultural mobile robot J Computers and Electronics in Agriculture 2018 152 40 50 8 李傳江 宋錦遠(yuǎn) 程璐璐 等 智能四輪驅(qū)動送餐車 P 上 海 CN107041634A 2017 08 15 9 司博文 薛新宇 崔龍飛 等 農(nóng)用輪式機器人轉(zhuǎn)向系統(tǒng)半 實物仿真試驗臺設(shè)計與試驗 J 中國農(nóng)機化學(xué)報 2021 42 05 114 122 10 Liao J C Chen S H Zhuang Z Y et al Designing and manufacturing of automatic robotic lawn mower J Processes 2021 9 2 358 11 郭志越 王偉 莊煜 等 基于 Solidworks的農(nóng)業(yè)信息采集系 統(tǒng)設(shè)計 J 森林工程 2015 31 04 92 97 12 王其東 曹也 陳無畏 等 輪轂電機驅(qū)動車輛線控差動 轉(zhuǎn)向的研究 J 汽車工程 2019 41 12 1384 1393 1409 13 高超 張緩緩 閆業(yè)翠 等 輪轂電機驅(qū)動汽車差動助力轉(zhuǎn) 向建模與仿真 J 農(nóng)業(yè)裝備與車輛工程 2020 58 10 27 32 14 Zhang H Zhang Y Yang T A survey of energy efficient motion planning for wheeled mobile robots J Industrial Robot the international journal of robotics research and application 2020 47 4 607 621 15 Ye Yunxiang Wang Zhaodong Dylan Jones et al Bin Dog A robotic platform for bin management in orchards J Robotics 2017 6 2 12 表2 番茄采摘數(shù)據(jù) 序號 檢測坐標(biāo) 手爪坐標(biāo) 誤差 可否采摘成功 番茄1 342 3 445 2 356 8 346 7 442 4 355 7 4 4 2 8 1 1 是 番茄2 457 2 561 3 581 7 455 1 567 3 583 8 2 1 6 0 2 1 是 番茄3 472 8 537 7 491 5 469 1 540 6 493 7 3 7 2 9 2 2 是 番茄4 531 4 500 1 584 2 530 8 498 3 589 8 0 6 1 8 5 6 是 番茄5 342 0 352 8 420 1 348 2 355 6 426 5 6 2 2 8 6 4 否 番茄6 486 2 458 4 529 8 488 9 454 6 527 0 2 7 3 8 2 8 是 番茄7 513 2 543 6 398 3 510 9 540 1 399 8 2 3 3 5 1 5 是 草莓8 556 8 572 1 492 2 562 6 572 7 490 7 5 8 0 6 1 5 是 草莓9 468 3 495 2 480 5 465 8 494 6 478 6 2 5 0 6 1 9 是 草莓10 549 2 570 6 483 7 547 8 568 9 480 6 1 4 1 7 3 1 是