設施番茄采摘機器人識別定位與采摘方法研究_雷志龍.pdf

年 月農業(yè)機械學報第 卷第 期 設施番茄采摘機器人識別定位與采摘方法研究 雷志龍 劉 暢 王 權 江蘇大學機械工程學院 鎮(zhèn)江 江蘇大學農業(yè)工程部 鎮(zhèn)江 摘要 番茄是設施農業(yè)中種植面積較大的農作物之一 在農業(yè)生產勞動力緊缺的背景下 實現(xiàn)其自動化采摘具有重 要意義 針對設施單果番茄采摘的需求 設計了一款設施番茄智能采摘平臺 主要由升降機構 采摘機構 識別與 定位系統(tǒng)等部分組成 平臺整體結構由低壓一體化伺服滾珠絲杠副升降機構 六軸協(xié)作機械臂和力控末端執(zhí)行器 組成 實現(xiàn)了自動化 精確高效的采摘作業(yè) 基于改進 融合算法來識別檢測 通過對 分量進行圖 像閾值分割 提高了對成熟目標果實識別的準確率 有效排除未成熟番茄和枝葉背景的干擾 通過眼在手外的標定 方法 使用 雙目相機進行定位 來實時獲取目標果實在機械臂基坐標系下的空間坐標 搭建的設施番茄采摘 機樣機平臺在現(xiàn)場采摘試驗中 識別準確率達到 采摘成功率為 單果平均采摘時間為 結果表明 融合算法能夠減少對番茄的識別誤差 使用眼在手外算法計算出轉換矩陣 實現(xiàn)對目標 果實準確識別與定位 設施番茄智能采摘裝置的識別定位和采摘能力滿足實際工作需求 關鍵詞 番茄采摘機器人 結構設計 識別與定位 中圖分類號 文獻標識碼 文章編號 收稿日期 修回日期 基金項目 江蘇省農業(yè)科技自主創(chuàng)新項目 作者簡介 雷志龍 男 碩士生 主要從事農業(yè)采摘機器人研究 通信作者 王權 男 教授 博士 主要從事半導體傳感和機器視覺等研究 引言 番茄是三大世界性貿易蔬菜之一 也是設施農 業(yè)種植面積最多的品種之一 目前 在整個番茄 生產鏈中最耗時 最費力的環(huán)節(jié)為采收環(huán)節(jié) 主要存 在設施用工難 作業(yè)環(huán)境差 勞動強度大等問題 因 此投入研發(fā)智能化設備具有重要意義 設施番茄智能采摘機器人融合了導航避障技 術 視覺識別定位技術 機械臂控制技術 柔性末端 執(zhí)行器設計技術以及機器人控制技術等多種關鍵技 術 番茄采摘機器人早在 世紀就被日本團 隊首次研發(fā) 美國 荷蘭等國家也在該領域進行了深 入研究 我國起步較晚 國內的研究團隊仍在 不斷探索 馮青春團隊 使用基于顏色特征進行閾 值分割等傳統(tǒng)圖像處理方法對番茄進行識別 梁喜 鳳團隊 通過建立精確的運動學模型和采用先 進的軌跡規(guī)劃及控制策略 顯著提高了機械手的操 作效率和穩(wěn)定性 等 通過智能感知作物表型 和姿態(tài) 對番茄串進行精準識別 并據(jù)此做出自主決 策與收割動作 盡管我國番茄采摘機器人在部分關鍵技術上取 得了重大突破 并能滿足基本的采摘需求 但仍處于 研發(fā)試驗階段 尚未廣泛推廣 在機械臂方面 由于 果實位置姿態(tài)各異 其靈活性與精準度不足 難以避 開障礙物進行采摘 在視覺識別方面 傳統(tǒng)圖 像處理識別技術魯棒性差 處理時間長等缺點也亟 待解決 為了在算力有限的嵌入式設備上完成目標番茄 的識別定位與采摘 本文設計一種設施番茄采摘平 臺 包含升降機構 采摘機構 視覺識別定位等部分 根據(jù)設施環(huán)境和番茄生長特性 采用單桅柱伺服滾 珠絲杠副作為升降機構 機械臂與特制末端執(zhí)行器 為采摘機構 基于 和 算法融合進行識 別檢測 并結合 雙目相機的采摘機構精準定位 采摘 以實現(xiàn)對目標番茄自主識別定位采摘的功能 總體方案設計 目前設施大棚種植番茄選擇桃夢茜優(yōu)質番茄品 種 該品種番茄均為單果生長 具有抗病蟲 耐低溫 果實色澤鮮艷 甜酸適度等優(yōu)點 針對番茄的生長 特性和種植環(huán)境復雜性 開展了識別定位與采摘一 體化的總體方案設計 番茄識別定位與采摘的總體實現(xiàn)方法如圖 所 示 該技術路線圖主要圍繞番茄采摘的自動化展開 首先進行硬件結構設計 包括升降裝置設計以及搭 載平臺和末端執(zhí)行器設計 接著進行番茄圖像采集 制作數(shù)據(jù)集并基于 算法模型進行識 別檢測成熟目標番茄 通過手眼矩陣轉換和獲取三 維坐標的技術手段實現(xiàn)番茄的三維定位 并設計驅 動程序以及優(yōu)化視覺與控制通信機制 完成這些技 術準備后 實現(xiàn)采摘作業(yè) 并通過采摘試驗和測試模 型不斷優(yōu)化整個系統(tǒng) 圖 總體技術路線圖 采摘機構設計 針對大棚農田作業(yè)環(huán)境 考慮番茄藤蔓生長的 植物特性以及田壟雙排的種植方式 采摘機器人需 要靈活作業(yè)空間 并且精確完成果實的采摘任務 因此 如圖 所示 設計了一個由六軸協(xié)作機械臂 伺服電控升降機構和柔性末端執(zhí)行器組成的采摘 機構 圖 采摘機構結構示意圖 六軸協(xié)作機械臂 雙目相機 升降機構 末端執(zhí) 行器 機械臂選用六自由度的協(xié)作機械臂 關節(jié)靈活 冗余度較高 配備高精度編碼器可為后續(xù)升級開發(fā) 提供基礎 且機械臂的工控機較小 便于嵌入式設 計 重復定位精度為 臂展可達 滿足農業(yè)采摘環(huán)境的需求 針對大棚環(huán)境中番茄采 摘作業(yè)要求 升降平臺采用電動滾珠絲杠副設計 具 有運行穩(wěn)定和速度易于控制等優(yōu)點 較適合于升降 高度適中和控制精度高的作業(yè)場所 根據(jù)滾珠絲杠 第二十七屆中國科協(xié)年會學術論文 年 副的導程 最小螺紋底徑和預期額定動載荷來進行 滾珠絲杠副的選型設計 考慮升降臺主要負載來源 于機械臂和末端執(zhí)行器的質量 負載約為 滾 珠絲杠副采用豎直方式安裝 選用 型 一體化低壓伺服電機 額定功率為 額定轉矩 為 最大輸出轉矩為 滿足滾珠絲 杠副所需實際轉矩 同時能夠確保升降平臺負載位 置的定位精度 以試驗基地品種番茄果實作為采摘對象 經(jīng)前 期研究表明 番茄最大橫向直徑為 果實 質量為 在成熟采摘時容易擠壓損壞 所以設計一種如圖 所示的力控夾指式末端執(zhí)行 器 力控末端執(zhí)行器由機械夾爪 夾爪驅動電機 紅 外傳感器 末端襯套等部分組成 圖 末端執(zhí)行器結構示意圖 機械夾爪 紅外傳感器 限位開關 驅動電機 經(jīng)過統(tǒng)計計算 番茄形狀為寬高比為 的球形 柔性夾爪最大張開寬度約為 當夾 持深度和高度偏高或者偏低時 采摘番茄可能會出 現(xiàn)滑落或者夾持不穩(wěn)的情況 考慮番茄最大橫向直 徑一般小于 故而夾具若是成功包裹番茄并 采摘 最大容許定位誤差需要滿足 軸和 軸誤差 小于 軸誤差小于 為減少對番茄的損傷 如圖 所示在末端執(zhí)行 器內側安裝硅膠襯套 硅膠襯套能夠在夾爪抓取番 茄時起到緩沖作用 避免劃傷番茄 同時將紅外傳感 器安裝在末端執(zhí)行器上 用于控制夾爪的夾持范圍 通過實時檢測夾爪是否超過限位 確保夾爪能夠準 確夾持番茄 同時避免過度夾持造成番茄損傷 識別檢測技術 數(shù)據(jù)采集與處理 試驗研究區(qū)域選在江蘇省連云港市海州區(qū)浦南 鎮(zhèn)草舍村的番茄種植基地 該基地主要栽培桃夢茜 粉太郎 普羅旺斯等比較適合溫室大棚的優(yōu)質番茄 圖 采摘場景 品種 以果實色澤鮮艷 產量最高的桃夢茜品種番 茄作為研究對象 于 年 月至 月期間 使用 相機在溫室大棚環(huán)境中采集不同植株 不同成 熟度的番茄圖像 為了提高番茄識別檢測準確性 分上午 中午 下午 個時間段采集相同數(shù)量的有效 番茄圖像 如圖 所示 采集蔓葉蔓枝對番茄的遮 擋 番茄果實之間的重疊 不同光照條件與不同拍攝 角度等多種情況樣本 共獲取 像素 像 素的有效番茄圖像 幅 使用 模型訓 練 并將番茄數(shù)據(jù)集用 工具進行標注 按 照成熟度將番茄圖像標注為 共 種類別 標注數(shù)量分別為 保存為 文檔 最后將標注的圖像數(shù)據(jù)集按照比例 劃分為訓練集 驗證集和測試集 圖 番茄采樣圖像示例 基于 的番茄識別方法 番茄在實際生長中環(huán)境比較復雜 使得采集的 圖像樣本中存在枝蔓遮擋 果實遮擋和光線等情況 影響顏色變化 導致準確檢測成熟的果實較為困難 現(xiàn)有的 算法檢測精度高 但在實際應用 中 仍會出現(xiàn)誤識別 漏識別情況 因此本文在原有 的 網(wǎng)絡模型基礎上 引入 顏色分割模 塊 提高對遮擋番茄和光照不均條件下番茄識別準 確率 相較于 顏色空間 顏色空間更適合本 第 期 雷志龍等 設施番茄采摘機器人識別定位與采摘方法研究 工作 在 顏色空間中 每種顏色都有其對應的 色調 飽和度 亮度 值的范圍 該顏色 空間更能夠直觀地表達出圖像顏色的明暗程度 鮮 艷程度以及顏色色調 且亮度對色彩的影響較小 如圖 所示 顏色空間常用于將圖像中的指定 顏色目標區(qū)域從背景中分割出來 從圖中直方圖可 以看出 在 分量下的直方圖有兩個明顯的波峰 依據(jù)直方圖雙峰法 可以選兩峰之間最低谷作為圖 像分割的閾值 從而將識別目標與未成熟番茄和枝 葉等背景分割開 圖 各通道圖像及對應直方圖 圖 目標識別過程 本工作在 框架中嵌入 顏色空間 算法 網(wǎng)絡模型實現(xiàn)過程如圖 所示 輸入端輸入 像素 像素的 三 通道番茄圖像 經(jīng)過 模塊和 模塊 處理后 對成熟番茄目標進行檢測 基于獲取的 檢測框坐標確定坐標并執(zhí)行提取操作 進而提取 出圖像中的目標番茄區(qū)域 在此過程中 可能會 有部分未成熟番茄被一同提取 隨后 把提取出 的目標番茄區(qū)域的 圖像通過 顏色空間 算法沿 分量轉換 計算紅色區(qū)域面積與檢測框 總面積的比值 從而獲取紅色區(qū)域占比 再將計 算所得占比與預設閾值進行對比 若占比達到 或超出閾值 則判定該檢測框內番茄為成熟 目標 在采用 網(wǎng)絡模型進行目標檢測的過 程中 對目標番茄的檢測框沿色度分量 分量 進 行分割 并計算分割出的紅色區(qū)域占整個檢測框區(qū) 域面積比例 當 過大時 目標果實被遮擋過多 或強光直射會導致檢測過度篩除 使得那些紅色區(qū) 域占比較小但實際存在的目標被誤判為背景 增加 漏檢情況 進而導致漏檢率 增加 當 較小時 對 成熟番茄的篩選效果降低 使得更多的背景或非目 標物體被錯誤地識別為目標 導致誤識別率 增 加 計算公式為 第二十七屆中國科協(xié)年會學術論文 年 式中 番茄總數(shù)量 準確率 誤識別的非成熟番茄數(shù)量 未識別的成熟番茄數(shù)量 識別出的成熟番茄數(shù)量 根據(jù)前期分析 為 時 準確率 相 對較好 試驗結果如表 所示 綜合考慮增加占比 對漏檢率和誤識別率的影響 選擇 為 時 識 別準確率 為最高值 達到 成熟目標番茄 的實時識別檢測達到最佳效果 表 占比 與誤識別率 漏檢率 及準確率 關系 誤識別率 漏檢率 準確率 模型訓練與結果分析 模型訓練在配備 的 邊緣計算機上進行 該計算機配置了 操作系統(tǒng) 使用 搭建框架 并安裝 和 為了 使檢測模型更輕量化 均選擇 網(wǎng)絡模型 為基礎 分別進行訓練 設置好訓練最大迭代次數(shù)為 處理批次大小為 初始學習率為 循環(huán) 學習率為 將劃分好的訓練集數(shù)據(jù)加載到模型 中 并初始化模型權重后開始訓練 試驗結果如表 所示 模型正 確率相比于原模型提升 個百分點 召回率提升 個百分點 平均精度提升 個百分點 但檢測 時間相較于原模型多 從模型的整體性能上 看 識別檢測更為出色 此外 對不 同模型分別進行測試 測試結果如圖 所示 由 圖 可以看出 種成熟度番茄能夠被較好地識 別 且在光照不均 遮擋部分較多等情況下也能保證 較高的識別權重 如圖 所示 加入 模型能夠 有效去除未成熟番茄和枝葉背景 成功識別成熟目 標果實 表 不同模型試驗結果 模型平均精度 正確率 召回率 檢測時間 圖 不同模型識別對比 定位方法 雙目相機由兩個以一定距離并排布置的 攝像頭組成 通過計算圖像間的視差來估計物體的 深度信息 此外 相機還采用結構光技術 如 圖 所示 通過發(fā)送光束并測量光束在場景中的變 化來獲取深度信息 進一步增強了深度測量的準確 性 根據(jù)得到的深度信息可以生成深度圖 并利用 深度圖能夠進一步構建出場景的三維結構 相機基于結構光和雙目立體視覺匹配來實現(xiàn)對目標 的精準定位 同時能夠降低在昏暗或者夜間環(huán)境下 受顏色和紋理的影響 因此 本工作選擇 雙目 相機來應用于復雜環(huán)境下實現(xiàn)目標精準定位 考慮到設施種植環(huán)境和采摘策略 選擇將 相機固定安裝在機械臂外的位置 為了實現(xiàn)對目標 番茄的精準定位和采摘作業(yè) 需要通過 眼在手外 的標定方法來確定相機坐標系與機械臂坐標系之間 的轉換關系 如圖 所示 首先 將圖像的坐標系 坐標仿射變換轉換成像素坐標系 得到坐標 點 通過相機標定獲取相機內參矩陣 然 后 將圖像平面上的這個點坐標轉換到相機坐標系 中 得到在相機坐標系 中坐標 同時 利用手眼標定的方法來獲取相機外參旋轉矩 陣和平移矩陣 通過剛體變換最終得到機械臂基坐 第 期 雷志龍等 設施番茄采摘機器人識別定位與采摘方法研究 圖 相機立體視配 圖 手眼標定坐標系轉換關系 標系 下的坐標 不斷調整和 優(yōu)化參數(shù) 以提高定位準確性和精度 在實際操作中 具體步驟如下 首先將標定板固 定在機械臂末端 控制機械臂末端移至相機視野內 在不同位置和姿態(tài)下拍攝多組標定板圖像 如圖 所示 并同時記錄對應機械臂末端四元素坐標 圖 不同位姿下拍攝的標定圖像 通過使用 進行相機標定 可以計算出 相機的內參矩陣 將獲得的相機參數(shù)和記錄機 械臂末端執(zhí)行器的四元素坐標導入寫好的手眼標定 程序中 并運行程序獲取轉換矩陣 接著 將轉換矩 陣和訓練權重導入視覺識別程序中 驅動相機進行 識別定位 從而獲得機械臂基坐標系下的三維空間 坐標 如圖 所示 并記錄 組檢測值與真實值 結果如表 可知 軸最大誤差為 平均誤差 為 軸最大誤差為 平均誤差為 軸最大誤差為 平均誤差為 根據(jù)設計末端執(zhí)行器抓取統(tǒng)計可知 定位 誤差在允許范圍內 符合使用要求 圖 三維識別定位 表 番茄中心點三維坐標檢測結果 序號檢測值真實值誤差 采摘試驗 基于上述研究 實驗室研發(fā)了一臺設施番茄采 摘機器人樣機 并對該樣機進行了調試與采摘試驗 番茄采摘機器人樣機如圖 所示 采摘機器人整體 尺寸為 主要由六軸協(xié)作機械 臂 雙目深度相機 柔性末端執(zhí)行器 移動平臺 升降 機構 控制柜等硬件組成 微型控制器作為整個采 摘機器人的控制中心 裝有 系統(tǒng) 具備足夠 的算力來支持深度學習運算 并通過網(wǎng)口接口 接口傳輸數(shù)據(jù)以實現(xiàn)雙目深度相機和機械臂工控機 之間的實時通信 六軸協(xié)作機械臂裝備有效負載為 的末端力控執(zhí)行器 結合升降機構 采摘機器 人能夠在高度 范圍內對成熟番茄進行識別 定位和采摘試驗 在連云港設施基地環(huán)境下進行實地試驗 采收 作業(yè)過程如圖 所示 運行視覺和機械臂控制程 序 相機會進行實時識別定位 當成熟番茄出 第二十七屆中國科協(xié)年會學術論文 年 圖 番茄采摘機器人樣機 圖 采收作業(yè)過程 現(xiàn)在相機視野范圍內時 系統(tǒng)會發(fā)送數(shù)據(jù)以控制機 器人停止前進 并將識別出的番茄三維坐標信息發(fā) 送至機械臂工控機 工控機隨后控制機械臂和末端 執(zhí)行器到達采摘點夾持目標果實 完成采摘動作后 將果實平穩(wěn)放回框內 并重復采收作業(yè)直至視野內 所有成熟番茄被采摘完畢 試驗中采用旋轉和拖拽兩種采摘方式 通過前 期觀察 發(fā)現(xiàn)成熟果實與果梗之間存在開花后形成 的節(jié)點 按照開花節(jié)點反方向更易成功采摘 根據(jù) 末端執(zhí)行器兩端活動滾輪結構設計 當控制機械臂 夾持目標果實并實現(xiàn)斜向上拖拽動作時 果梗會拉 直果實 使得夾具會自動向反方向旋轉 果實采摘的 成功率大幅度提高 當相機視野范圍內沒有可采摘 的番茄時 系統(tǒng)會發(fā)送指令給底盤工控機 控制小車 繼續(xù)前進以尋找下一個采摘目標 在此次實地試驗 中 結果如表 所示 共識別到 個成熟番茄果 實 采摘失敗原因主要有定位失準 分離失敗和抓握 受阻 最終選擇拖拽動作進行采收作業(yè) 成功采摘 個成熟番茄 采摘成功率為 單果平均采 摘時間為 表 采摘試驗結果 采摘 動作 類型 果實 總數(shù) 采摘試驗指標采摘失敗指標 識別 成功 個數(shù) 采摘 成功 個數(shù) 單果平 均采摘 時間 定位 失準 個數(shù) 分離 失敗 個數(shù) 抓握 受阻 個數(shù) 旋轉 拖拽 結論 針對設施環(huán)境下的單果番茄采摘 本工作 整體搭建了番茄自主采摘平臺 包括單桅柱伺服滾 珠絲杠副升降機構 六軸協(xié)作機械臂 力控夾指式末 端執(zhí)行器 雙目相機 控制器等部分 參照設 施單果番茄的生長特性 對升降機構和末端執(zhí)行器 進行結構設計 基于 檢測算法 實現(xiàn)了對 成熟目標果實精準識別 通過對 分量進行圖像 閾值分割 試驗找出最佳面積分割占比 提高了對 成熟目標果實識別準確率 有效排除未成熟番茄和 枝葉背景干擾 采用 雙目相機定位目標果實的三維空 間坐標 利用 進行相機標定來獲取內參信息 使用四元素方法記錄相應末端執(zhí)行器在機械臂基坐 標系中的位姿信息 通過眼在手外標定方式計算得出 轉換矩陣 實現(xiàn)對目標果實的精準定位 通過在實驗室和種植基地對樣機進行采摘 試驗 采用兩種采摘策略對目標果實進行摘取 現(xiàn)場 試驗結果表明 采用拖拽方式的采摘策略具有更高 的成功率 并且能夠根據(jù)預設程序自動完成實時識 別定位 采收番茄果實等一系列動作 有效驗證了設 計方案的合理性和實用性 參考文獻 徐燦 熊征 蔣先平 等 串收番茄采摘機器人的設計與研究 現(xiàn)代農業(yè)裝備 陳至靈 姜樹海 孫翊 農林業(yè)采收機器人發(fā)展現(xiàn)狀 農業(yè)工程 第 期 雷志龍等 設施番茄采摘機器人識別定位與采摘方法研究 劉繼展 江應星 農業(yè)采摘機器人產業(yè)化進程分析與多臂高速化技術走向 農業(yè)機械學報 王海楠 弋景剛 張秀花 番茄采摘機器人識別與定位技術研究進展 中國農機化學報 王曉楠 伍萍輝 馮青春 等 番茄采摘機器人系統(tǒng)設計與試驗 農機化研究 梁喜鳳 楊犇 王永維 番茄收獲機械手軌跡跟蹤模糊控制仿真與試驗 農業(yè)工程學報 秦超 梁喜鳳 路杰 等 七自由度番茄收獲機械手的軌跡規(guī)劃與仿真 浙江大學學報 工學版 第二十七屆中國科協(xié)年會學術論文 年