基于Mask R-CNN的智能蘋(píng)果采摘機(jī)器人.pdf

中國(guó)科技信息2023年第13期 CHINA SCIENCE AND TECHNOLOGY INFORMATION Jul 2023 146 四星推薦 近年來(lái) 隨著人工智能和機(jī)器人技術(shù)的不斷發(fā)展 各行 各業(yè)都在積極探索如何利用這些技術(shù)提高工作效率和減少勞 動(dòng)力成本 其中 農(nóng)業(yè)領(lǐng)域也不例外 越來(lái)越多的農(nóng)民開(kāi)始使 用機(jī)器人來(lái)完成種植 收割等任務(wù) 在所有農(nóng)作物中 蘋(píng)果是 一個(gè)重要的種植品種 并且由于該種水果的特殊性質(zhì) 采摘過(guò) 程中機(jī)器人的目標(biāo)識(shí)別 果實(shí)定位與分離 果實(shí)保護(hù)是蘋(píng)果采 摘機(jī)器人的關(guān)鍵技術(shù) 決定了蘋(píng)果采摘的質(zhì)量和效率 隨著我 國(guó)對(duì)世界的蘋(píng)果貢獻(xiàn)率不斷提高下 傳統(tǒng)的人工采摘和現(xiàn)有的 機(jī)器人采摘方法無(wú)法滿(mǎn)足需求 為此 設(shè)計(jì)了一種基于Mask R CNN的優(yōu)化智能蘋(píng)果采摘機(jī)器人 以實(shí)現(xiàn)蘋(píng)果采摘的自 動(dòng)化 降低生產(chǎn)成本的同時(shí)提高蘋(píng)果采摘效率 機(jī)器人的系統(tǒng)組成 智能蘋(píng)果采摘機(jī)器人以實(shí)現(xiàn)目標(biāo)果實(shí)的智能識(shí)別 精確 定位 快速采摘 精準(zhǔn)輸送等多項(xiàng)聯(lián)合作業(yè)為設(shè)計(jì)目標(biāo) 設(shè)計(jì) 出一款實(shí)現(xiàn)高效采摘且適用于大部分地域果園的基于智能識(shí) 別及精確采摘的機(jī)械臂式智能蘋(píng)果采摘機(jī)器人 因此 必須解 決的問(wèn)題包括機(jī)器人的 自動(dòng)避障系統(tǒng) 采摘控制系統(tǒng)等 目標(biāo)識(shí)別與定位系統(tǒng) 通過(guò)搭載優(yōu)化后的掩碼卷積神經(jīng)網(wǎng)絡(luò) Mask R CNN 算法的STM32 單片機(jī)主控制器 搭配DSP高速算法計(jì)算 芯片 基于建立的優(yōu)化掩碼卷積神經(jīng)網(wǎng)絡(luò)成熟目標(biāo)果實(shí)識(shí)別 模型 可以初步提取蘋(píng)果的邊緣 角點(diǎn)等低級(jí)特征 再通過(guò) 對(duì)高級(jí)特征如紅色 圓形 紋理等的提取 可形成不同大小 和維度的特征圖 其圖像信息作為區(qū)域建議網(wǎng)絡(luò)的輸入 并 將其輸入到區(qū)域建議網(wǎng)絡(luò)中進(jìn)行端訓(xùn)練 生成感興趣區(qū)域 最后通過(guò)全卷積網(wǎng)絡(luò)生成掩模 得到蘋(píng)果所在的區(qū)域 如圖 1 2所示 并通過(guò)目的果實(shí)的輸出框 利用輸出結(jié)果中的 包圍框坐標(biāo)求出二維中心點(diǎn)坐標(biāo) 顯示在 Mask R CNN的 輸出結(jié)果中 該算法采用了區(qū)域提議網(wǎng)絡(luò) RPN 來(lái)生成感 興趣區(qū)域 并使用少量帶有掩膜注釋信息的樣本進(jìn)行訓(xùn)練 來(lái)對(duì)每個(gè)感興趣區(qū)域進(jìn)行實(shí)例分割 不僅可以檢測(cè)出物體的 位置信息 還可以精確地得到物體的邊界信息 從而更加全 面地描述目標(biāo)物從而可以對(duì)部分遮擋或者重疊的目標(biāo)物進(jìn)行 準(zhǔn)確識(shí)別 使得目標(biāo)識(shí)別系統(tǒng)具有好的準(zhǔn)確性 高效性和魯 棒性 同時(shí) 構(gòu)建的深度網(wǎng)絡(luò)結(jié)構(gòu)通過(guò)不斷的自身特征提取 和對(duì)特征自學(xué)習(xí)不斷被優(yōu)化 大幅提高枝葉遮擋和重疊目標(biāo) 果實(shí)識(shí)別精度 將目標(biāo)框從二維坐標(biāo)轉(zhuǎn)化為三維坐標(biāo) 需要 借助Kinect V2攝像頭的深度信息進(jìn)行計(jì)算 具體過(guò)程如下 在獲取到蘋(píng)果目標(biāo)框后 根據(jù)輸出結(jié)果中的包圍框坐標(biāo)求出 行業(yè)曲線 開(kāi)放度 創(chuàng)新度生態(tài)度 互交度 持續(xù)度 可替代度 影響力 可實(shí)現(xiàn)度 行業(yè)關(guān)聯(lián)度 真實(shí)度 基于Mask R CNN的智能蘋(píng)果采摘機(jī)器人 顏清華 杜玉珠 李亞芹 劉兆光 翟子順 李冰陽(yáng) 曹明浩 顏清華 杜玉珠 李亞芹 劉兆光 翟子順 李冰陽(yáng) 曹 明浩 佳木斯大學(xué) 機(jī)械工程學(xué)院 顏清華 2003 本科在讀 從事智能農(nóng)業(yè)裝備方面研究 通信作者 蒲巖巖 1992 碩士 講師 從事智能農(nóng) 業(yè)裝備方面研究 基金項(xiàng)目 黑龍江省教育廳基本科研業(yè)務(wù)費(fèi) 2020 KYYWF 0264 國(guó)家級(jí)大學(xué)生創(chuàng)新創(chuàng) 業(yè)訓(xùn)練計(jì)劃項(xiàng)目 202210222126 針對(duì)于當(dāng)前我國(guó)機(jī)械臂采摘式蘋(píng)果采摘機(jī)器人市場(chǎng)中存在的 由于目標(biāo)果實(shí)被枝葉遮擋或重疊 機(jī)器人避障識(shí)別度不高 果園地 形外貌差異巨大 果實(shí)與果樹(shù)分離引起的果樹(shù)振動(dòng) 果實(shí)損壞率高 等問(wèn)題所導(dǎo)致的采摘效率低下的現(xiàn)狀 設(shè)計(jì)了一套實(shí)現(xiàn)果農(nóng)高效采 摘且適用于大部分地域果園的基于智能識(shí)別及精確采摘的機(jī)械臂式 智能蘋(píng)果采摘機(jī)器人 該設(shè)計(jì)立足于多傳感自動(dòng)避障系統(tǒng) 優(yōu)化的 RCNN識(shí)別系統(tǒng) 仿形快速采摘系統(tǒng)等 對(duì)果園作業(yè)區(qū)域內(nèi)蘋(píng)果樹(shù) 的成熟果實(shí)實(shí)時(shí)監(jiān)測(cè) 再根據(jù)相關(guān)數(shù)據(jù)結(jié)合實(shí)現(xiàn)自主避障 智能識(shí) 別 精確采摘 果實(shí)保護(hù)等功能 通過(guò)仿真實(shí)驗(yàn)得出 該設(shè)備相較 于人工采摘的作業(yè)效率和傳統(tǒng)機(jī)械臂采摘機(jī)器人的果實(shí)保護(hù)率都有 一定提高 在一定程度上推進(jìn)了智慧農(nóng)業(yè)與高效農(nóng)業(yè)的發(fā)展 147 CHINA SCIENCE AND TECHNOLOGY INFORMATION Jul 2023 中國(guó)科技信息2023年第13期 四星推薦 蘋(píng)果在二維圖像上的中心點(diǎn)坐標(biāo) 利用Kinect V2深度映射 圖獲取該坐標(biāo)點(diǎn)的深度值 即第三個(gè)坐標(biāo)值 對(duì)于Kinect V2攝像頭來(lái)說(shuō) 它提供了一個(gè)已知的相機(jī)內(nèi)參和畸變參 數(shù) 可以通過(guò)相機(jī)模型將二維坐標(biāo)映射到三維空間中 并得 到蘋(píng)果在三維空間中的坐標(biāo) 在實(shí)現(xiàn)該過(guò)程時(shí) 需要使用到 Kinect V2攝像頭的外界接口 通過(guò)電信號(hào)將蘋(píng)果的二維坐 標(biāo)和深度信息傳遞給STM32單片機(jī)主控制器和DSP高速 計(jì)算芯片進(jìn)行處理 整個(gè)過(guò)程需要對(duì)硬件和軟件進(jìn)行充分的 配合和優(yōu)化 才能保證準(zhǔn)確性和效率 自動(dòng)避障系統(tǒng) 以STM32 單片機(jī)為基礎(chǔ) 采用紅外線傳感器 超聲波 傳感器 舵機(jī)與陀螺儀相結(jié)合實(shí)現(xiàn)多種傳感器有效的協(xié)同工 作 并在對(duì)其傳入的數(shù)據(jù)進(jìn)行合理的分析與計(jì)算 實(shí)現(xiàn)了蘋(píng) 果采摘機(jī)器人在面對(duì)復(fù)雜果園時(shí)的有效避障 圖3是該系統(tǒng) 的工作流程圖 機(jī)器人正常前進(jìn)時(shí) 由多種傳感器融合協(xié)作 感應(yīng)前方是否存在障礙物 若存在障礙物 通過(guò)舵機(jī)調(diào)整角 度進(jìn)行轉(zhuǎn)彎或后退 進(jìn)而實(shí)現(xiàn)自動(dòng)避障過(guò)程 該設(shè)計(jì)解決了 紅外傳感器易受光線干擾和單個(gè)超聲波測(cè)距角度有限不足的 缺點(diǎn) 避免了對(duì)蘋(píng)果采摘機(jī)器人工作過(guò)程中由于天氣原因 機(jī)器行走時(shí)制造的灰塵以及溫度等外在因素所導(dǎo)致的機(jī)器人 無(wú)法正常避障問(wèn)題 提供了一種有效的解決方案 采摘控制系統(tǒng) 執(zhí)行控制結(jié)構(gòu) 當(dāng)識(shí)別控制系統(tǒng)識(shí)別出目標(biāo)果實(shí)時(shí) 機(jī)器人運(yùn)動(dòng)停止 并立即向采摘控制系統(tǒng)發(fā)送動(dòng)作信號(hào) 并通過(guò)建立D H矩陣 來(lái)建立機(jī)械手坐標(biāo)系 利用齊次變換矩陣分析正 逆運(yùn)動(dòng)進(jìn)而 計(jì)算出機(jī)械臂的最優(yōu)路徑 接著機(jī)械臂末端逐漸接近果實(shí) 以 直流電機(jī)帶動(dòng)絲杠和雙面齒條的螺旋轉(zhuǎn)動(dòng)和雙面齒條上下移 動(dòng) 進(jìn)而引起兩個(gè)嚙合齒輪對(duì)轉(zhuǎn) 以達(dá)到控制夾持結(jié)構(gòu)開(kāi)合的 目的 采摘手搭配鋼絲 軟軸和切割刀片 讓后者借助軟軸的 帶動(dòng)繞手指外廓旋轉(zhuǎn)近似一周 成功完成了對(duì)手指外周上任意 位置蘋(píng)果柄的切割 楔形設(shè)計(jì)的刀片提高了切割果柄的準(zhǔn)確性 和采摘效率 并明顯提高了切斷果柄的易度 從而提高了采摘 成功率 這種方法不僅使得檢測(cè)果柄過(guò)程簡(jiǎn)化 采摘效率也得 到了有效提升 相較于傳統(tǒng)的機(jī)械手 該設(shè)計(jì)避免了由于采摘 時(shí)機(jī)械果實(shí)與果樹(shù)分離引起的果樹(shù)振動(dòng) 而導(dǎo)致攝像機(jī)捕捉果 實(shí)圖像出現(xiàn)誤差 從而降低工作效率的現(xiàn)象 末端夾持結(jié)構(gòu) 末端夾持結(jié)構(gòu)的設(shè)計(jì)直接影響蘋(píng)果的果實(shí)的損傷率和采 摘效率 所以考慮到采用兩個(gè)弧形碗狀結(jié)構(gòu)為采摘器夾持結(jié)構(gòu) 如圖4所示 內(nèi)層接觸果實(shí)的部分采用比較柔軟的橡膠 或者綢緞材料 這樣在采摘果實(shí)時(shí) 即便夾持力稍大也不會(huì)立 馬使蘋(píng)果表皮破損 增大了采摘結(jié)構(gòu)的容錯(cuò)性 并通過(guò)傳感器 檢測(cè)末端碗狀結(jié)構(gòu)與蘋(píng)果的接觸力并轉(zhuǎn)換為電信號(hào) 當(dāng)接觸力 達(dá)到設(shè)定值后 電機(jī)驅(qū)動(dòng)弧形碗狀結(jié)構(gòu)收縮 將果實(shí)固定在內(nèi) 部 并傳送至車(chē)廂內(nèi) 為了提高末端采摘結(jié)構(gòu)的魯棒性 我們 采用遺傳算法 Genetic Algorithm 來(lái)優(yōu)化夾持力參數(shù) 該 算法可以有效地搜索最優(yōu)解 且計(jì)算量相對(duì)較小 不會(huì)增加主 控制器的負(fù)擔(dān) 通過(guò)適應(yīng)度函數(shù)對(duì)解進(jìn)行評(píng)估 選擇 交叉和 變異等操作 以生成新的解并逐步優(yōu)化解的質(zhì)量 最終 得到 的最優(yōu)解即為最佳夾持力參數(shù)和接觸力閾值 根據(jù)不同種類(lèi)蘋(píng) 果應(yīng)該設(shè)計(jì)不同的蘋(píng)果夾持力相關(guān)參數(shù)以及接觸力閾值 以適 圖5 機(jī)器人夾持蘋(píng)果工作圖 圖4 機(jī)器人的整體模型圖 圖3 避障系統(tǒng)的工作流程圖 圖2 改進(jìn)后的Mask R CNN網(wǎng)絡(luò)模型蘋(píng)果分割定位圖 圖1 改進(jìn)后的Mask R CNN網(wǎng)絡(luò)模型整體結(jié)構(gòu)圖 中國(guó)科技信息2023年第13期 CHINA SCIENCE AND TECHNOLOGY INFORMATION Jul 2023 148 四星推薦 應(yīng)復(fù)雜果園環(huán)境下果實(shí)的保護(hù) 提高蘋(píng)果采摘的經(jīng)濟(jì)效益 圖 4 5分別為機(jī)器人的整體模型圖和實(shí)物圖 工作流程 蘋(píng)果采摘機(jī)器人啟動(dòng)后 通過(guò)多傳感器的數(shù)據(jù)輸入 目 標(biāo)果實(shí)識(shí)別定位系統(tǒng)通過(guò)對(duì)前方目標(biāo)進(jìn)行圖像處理 如若遇 到障礙物或未成熟果實(shí) 避障系統(tǒng)進(jìn)行自動(dòng)避障處理 如果 目標(biāo)為成熟果實(shí) 則由Kinect V2計(jì)算空間點(diǎn)坐標(biāo)來(lái)完成成 熟果實(shí)識(shí)別與定位識(shí)別目標(biāo)果實(shí)后 控制模塊接收到采摘信 號(hào)并發(fā)送指令給智能采摘系統(tǒng) 機(jī)械手建立坐標(biāo)系并分析其 逆運(yùn)動(dòng)學(xué) 從而計(jì)算出機(jī)械手的最優(yōu)路徑的運(yùn)動(dòng)解 機(jī)械手 移動(dòng)至目標(biāo)水果位置 末端刀片進(jìn)行采摘使其落入弧形夾持 結(jié)構(gòu) 并通過(guò)末端的壓力傳感器配合遺傳算法優(yōu)化夾持力參 數(shù) 并得出最優(yōu)夾持力參數(shù) 以保護(hù)果實(shí)免受損壞 機(jī)械爪 完成采摘后將果實(shí)運(yùn)送到車(chē)廂內(nèi) 機(jī)械臂復(fù)位 為下一次采 摘做準(zhǔn)備 圖6為機(jī)器人的工作流程圖 實(shí)驗(yàn)?zāi)M 為了檢驗(yàn)機(jī)器人的工作效率 以模擬紅色氣球?yàn)槌墒旃?實(shí) 并將氣球掛在模擬樹(shù)上 在實(shí)驗(yàn)室內(nèi)開(kāi)展了一場(chǎng)模擬實(shí) 驗(yàn) 圖7為模擬蘋(píng)果采摘實(shí)驗(yàn) 首先 在測(cè)試區(qū)域中尋找 四顆類(lèi)似于蘋(píng)果樹(shù)的模擬樹(shù) 并將100個(gè)紅色氣球 代表成 熟果實(shí) 20個(gè)綠色氣球和10個(gè)白色氣球 隨機(jī)分配在四 顆樹(shù)上 接著啟動(dòng)蘋(píng)果采摘機(jī)器人并開(kāi)始30min采摘時(shí)間 倒計(jì)時(shí) 讓它在測(cè)試區(qū)域內(nèi)進(jìn)行采摘操作 在機(jī)器人完成采 摘后 收集所有被漏摘的氣球 代表漏摘的果實(shí) 和被采摘 的各色氣球 紅色代表成熟果實(shí) 綠色和白色代表未成熟果 實(shí) 以及被夾爆的氣球 代表?yè)p壞的果實(shí) 記錄好各顏色 氣球的數(shù)量 并分別計(jì)算出果實(shí)漏摘率 果實(shí)誤摘率 果實(shí) 損傷率以及工作效率可靠度 接著將模擬樹(shù)以及各氣球放置 的位置打亂 重復(fù)三遍上述實(shí)驗(yàn) 并將實(shí)驗(yàn)結(jié)果數(shù)據(jù)入下來(lái) 經(jīng)過(guò)三次模擬實(shí)驗(yàn)最終得出 該機(jī)器人的漏摘率為7 00 誤摘率為5 64 果實(shí)損傷率為1 65 進(jìn)而得出該蘋(píng)果 采摘機(jī)器人的工作可靠度為R t 1 7 00 1 5 64 1 1 65 86 54 相較于人工采摘該蘋(píng) 果采摘機(jī)器人的工作效率大大提高 圖8為蘋(píng)果 氣球 分 割定位圖 表1為三次實(shí)驗(yàn)數(shù)據(jù)匯總表 表1 三次實(shí)驗(yàn)數(shù)據(jù)匯總表 實(shí)驗(yàn)一 實(shí)驗(yàn)二 實(shí)驗(yàn)二 平均值 紅色氣球 成熟果實(shí) 92 93 94 93 白色氣球 未成熟果實(shí) 2 2 1 1 66 綠色氣球 未成熟果實(shí) 3 4 5 4 破損氣球 破損果實(shí) 1 2 2 1 66 果實(shí)漏摘率 8 00 7 00 6 00 7 00 果實(shí)誤摘率 5 10 5 94 5 88 5 64 果實(shí)損傷率 1 02 1 98 1 96 1 65 工作效率可靠度 87 13 85 74 86 74 86 54 結(jié)語(yǔ) 本文以搭載優(yōu)化后的掩碼卷積神經(jīng)網(wǎng)絡(luò) Mask R CNN 算法的STM32 單片機(jī)為主控制器 設(shè)計(jì)了一臺(tái) 可以實(shí)現(xiàn)自主避障 智能識(shí)別 精確采摘 果實(shí)保護(hù)等功能 的蘋(píng)果采摘機(jī)器人 并得出以下結(jié)論 機(jī)器人的關(guān)鍵技術(shù)包括由基于Mask R CNN神經(jīng)網(wǎng)絡(luò) 模型為果實(shí)目標(biāo)的識(shí)別算法和通過(guò)搭配遺傳算法優(yōu)化夾持力 的弧形夾持結(jié)構(gòu) 有效的解決了采摘過(guò)程中枝葉遮擋和果實(shí) 重疊給識(shí)別系統(tǒng)帶來(lái)的難題 并降低了蘋(píng)果的損失率 使得 機(jī)器人的具有較好的準(zhǔn)確性 適應(yīng)性 高效性以及魯棒性 通過(guò)假定紅色氣球?yàn)槌墒旃麑?shí) 綠 黃色氣球?yàn)槲闯墒?果實(shí) 模擬一場(chǎng)蘋(píng)果機(jī)器人的采摘實(shí)驗(yàn) 實(shí)驗(yàn)結(jié)果得出該機(jī) 器人的漏摘率為7 00 誤摘率為5 64 果實(shí)損傷率為 1 65 工作效率為86 54 滿(mǎn)足現(xiàn)階段蘋(píng)果采摘機(jī)器人 的基本工作要求 相較于人工采摘該蘋(píng)果采摘機(jī)器人的工作 效率大大提高 盡管采用了Mask R CNN算法進(jìn)行目標(biāo)檢測(cè)和實(shí)例分 割 但仍無(wú)法避免由于光線 陰影 角度等因素導(dǎo)致識(shí)別精 度下降的問(wèn)題 特別是對(duì)于非規(guī)則形狀的水果或者有局部變 形的水果 精度會(huì)受到更大的影響 圖8 蘋(píng)果 氣球 分割定位圖 圖7 模擬蘋(píng)果采摘實(shí)驗(yàn) 圖6 機(jī)器人的工作流程圖