基于Mask_R-CNN的番茄植株整枝操作點(diǎn)定位方法.pdf

第38卷 第3期 農(nóng) 業(yè) 工 程 學(xué) 報(bào) Vol 38 No 3 128 2022年 2月 Transactions of the Chinese Society of Agricultural Engineering Feb 2022 基于Mask R CNN的番茄植株整枝操作點(diǎn)定位方法 馮青春 成 偉 李亞軍 王博文 陳立平 1 北京市農(nóng)林科學(xué)院智能裝備技術(shù)研究中心 北京 100097 2 國(guó)家農(nóng)業(yè)智能裝備工程技術(shù)研究中心 北京 100097 3 農(nóng)業(yè)智能裝備技術(shù)北京市重點(diǎn)實(shí)驗(yàn)室 北京 100097 摘 要 針對(duì)工廠化番茄智能化整枝打葉作業(yè)需要 研究了基于Mask R CNN模型的整枝操作點(diǎn)識(shí)別定位方法 以期為整 枝機(jī)器人的精準(zhǔn)操作提供依據(jù) 鑒于叢生植株中主莖和側(cè)枝莖稈目標(biāo)隨機(jī)生長(zhǎng) 形態(tài)各異 結(jié)合植株在不同生長(zhǎng)階段 遠(yuǎn) 近視場(chǎng)尺度和觀測(cè)視角等條件下的成像特征 構(gòu)建了溫室番茄植株圖像樣本數(shù)據(jù)集 采用學(xué)習(xí)率微調(diào)訓(xùn)練方法 對(duì)Mask R CNN預(yù)訓(xùn)練模型進(jìn)行遷移訓(xùn)練 建立了主莖和側(cè)枝像素區(qū)域的識(shí)別分割模型 在對(duì)視場(chǎng)內(nèi)同株相鄰主莖和側(cè)枝目標(biāo)進(jìn)行 判別基礎(chǔ)上 提出基于圖像矩特征的莖稈中心線擬合方法 以中心線交點(diǎn)為參考 沿側(cè)枝進(jìn)行定向偏移 實(shí)現(xiàn)對(duì)整枝操作點(diǎn)圖 像坐標(biāo)的定位 最后 通過(guò)測(cè)試試驗(yàn)評(píng)估該方法對(duì)目標(biāo)識(shí)別和定位的效果 試驗(yàn)結(jié)果表明 模型對(duì)番茄主莖和側(cè)枝目標(biāo)識(shí)別的 錯(cuò)誤率 精確率和召回率分別為0 12 0 93和0 94 對(duì)整枝操作點(diǎn)平均定位偏差與對(duì)應(yīng)主莖像素寬度的比值為0 34 模型對(duì)于 近景仰視圖像中目標(biāo)的識(shí)別和定位效果優(yōu)于其他視場(chǎng)的圖像 該研究可為整枝機(jī)器人視覺(jué)系統(tǒng)的研發(fā)提供技術(shù)依據(jù) 關(guān)鍵詞 農(nóng)業(yè) 機(jī)器人 番茄整枝 植株莖稈 Mask R CNN doi 10 11975 j issn 1002 6819 2022 03 015 中圖分類(lèi)號(hào) TP242 6 文獻(xiàn)標(biāo)志碼 A 文章編號(hào) 1002 6819 2022 03 0128 08 馮青春 成偉 李亞軍 等 基于Mask R CNN的番茄植株整枝操作點(diǎn)定位方法 J 農(nóng)業(yè)工程學(xué)報(bào) 2022 38 3 128 135 doi 10 11975 j issn 1002 6819 2022 03 015 http www tcsae org Feng Qingchun Cheng Wei Li Yajum et al Method for identifying tomato plants pruning point using Mask R CNN J Transactions of the Chinese Society of Agricultural Engineering Transactions of the CSAE 2022 38 3 128 135 in Chinese with English abstract doi 10 11975 j issn 1002 6819 2022 03 015 http www tcsae org 0 引 言 番茄是全球廣泛種植的大宗蔬菜 1 對(duì)于保障人類(lèi)營(yíng) 養(yǎng)需求具有重要作用 中國(guó)番茄種植規(guī)模和產(chǎn)量居全球 首位 全國(guó)種植面積約100萬(wàn)hm2 年產(chǎn)量約6 100萬(wàn)t 占全球番茄總產(chǎn)量的35 1 產(chǎn)值占中國(guó)蔬菜總產(chǎn)值的 12 是菜農(nóng)增收 蔬菜產(chǎn)業(yè)發(fā)展的重要支撐 整枝打葉 是番茄栽培管理的必要環(huán)節(jié) 幾乎貫穿整個(gè)生產(chǎn)周期 及時(shí)摘除成熟變色果實(shí)區(qū)域的側(cè)枝葉片 可以調(diào)節(jié)植株 營(yíng)養(yǎng)和生殖生長(zhǎng)平衡 改善通風(fēng)透光條件 降低病蟲(chóng)害 發(fā)生風(fēng)險(xiǎn) 對(duì)于提高番茄產(chǎn)量和品質(zhì)具有重要意義 2 3 然而每周2 3次的人工整枝打葉 是目前工廠化番茄種 植過(guò)程中操作最復(fù)雜 效率最低 人力投入最大的生產(chǎn) 環(huán)節(jié)之一 約消耗人力成本總投入的40 60 4 研發(fā) 溫室番茄整枝打葉機(jī)器人 代替人工作業(yè) 對(duì)于提升番 茄種植效益具有重要意義 近年來(lái) 歐美國(guó)家果蔬整枝打葉機(jī)器人研發(fā)應(yīng)用成 果顯著 5 9 部分產(chǎn)品初步實(shí)現(xiàn)了產(chǎn)業(yè)應(yīng)用 準(zhǔn)確識(shí)別和 定位植株主莖和側(cè)枝目標(biāo)是機(jī)器人整枝的必要依據(jù) 然 收稿日期 2021 11 09 修訂日期 2022 01 25 基金項(xiàng)目 國(guó)家重點(diǎn)研發(fā)計(jì)劃項(xiàng)目 2019YFE0125200 北京市農(nóng)林科學(xué)院 創(chuàng)新能力建設(shè)專項(xiàng) KJCX20210414 作者簡(jiǎn)介 馮青春 博士 副研究員 研究方向?yàn)檗r(nóng)業(yè)機(jī)器人 Email fengqc 通信作者 陳立平 博士 研究員 研究方向?yàn)檗r(nóng)業(yè)智能裝備 Email chenlp 而番茄植株主莖 葉片與側(cè)枝色彩相近 叢生交錯(cuò) 無(wú) 序生長(zhǎng) 基于有限特征閾值的傳統(tǒng)分類(lèi)方法較難實(shí)現(xiàn)圖 像目標(biāo)區(qū)域的準(zhǔn)確分割 融合色彩 形態(tài)以及紋理特征 的多尺度信息建立自適應(yīng)語(yǔ)義分割模型 可以有效改善 番茄莖稈目標(biāo)的識(shí)別和分割效果 10 以多層卷積特征提取網(wǎng)絡(luò)為核心的深度學(xué)習(xí)模型 11 其 端到端 的模型結(jié)構(gòu)和算法的可遷移性 避免了傳 統(tǒng)機(jī)器學(xué)習(xí)模型的復(fù)雜構(gòu)建過(guò)程 并且具有更高的識(shí)別 精度 對(duì)于農(nóng)業(yè)作業(yè)對(duì)象復(fù)雜視覺(jué)信息的感知具有獨(dú)特 優(yōu)勢(shì) 12 13 目標(biāo)識(shí)別方面 孫哲等 14 提出了一種基于Faser R CNN的自然環(huán)境下西蘭花幼苗檢測(cè)方法 平均精度達(dá) 到91 Henry等 15 提出了一種基于全卷積網(wǎng)絡(luò)的奇異果 識(shí)別方法 并應(yīng)用于采摘機(jī)器人 對(duì)密集果實(shí)的探測(cè)準(zhǔn) 確率達(dá)到76 3 趙德安等 16 提出了基于YOLOv3深度 卷積神經(jīng)網(wǎng)絡(luò)的蘋(píng)果定位方法 果實(shí)識(shí)別準(zhǔn)確率為97 孫紅等 17 建立了基于SSDLite MobileDet輕量化網(wǎng)絡(luò)模型 的玉米冠層識(shí)別模型 識(shí)別精度為91 檢測(cè)幀頻89幀 s 目標(biāo)分割方面 Yu等 18 通過(guò)對(duì)Mask R CNN語(yǔ)義分割模 型的遷移訓(xùn)練 實(shí)現(xiàn)了對(duì)重疊草莓圖像區(qū)域的識(shí)別 分 割準(zhǔn)確率為89 5 鄧穎等 19 建立了基于改進(jìn)Mask R CNN的柑橘花朵分割模型 平均精度36 3 花量計(jì) 數(shù)誤差11 9 龍潔花等 20 引入CSPNet 改進(jìn)Mask R CNN的ResNet 對(duì)不同成熟度番茄果實(shí)識(shí)別正確率為 90 Loyani等 21 基于Mask R CNN識(shí)別番茄葉片赤霉 病斑 精度達(dá)到85 67 Liu 等 22 采用改進(jìn)的Mask 第3期 馮青春等 基于Mask R CNN的番茄植株整枝操作點(diǎn)定位方法 129 R CNN對(duì)近色背景下的黃瓜果實(shí)進(jìn)行分割 識(shí)別精度F1 值為89 47 目前基于深度學(xué)習(xí)模型的植物花 葉和果 目標(biāo)識(shí)別 主要以固定尺度和視角場(chǎng)景為主 然而番茄 側(cè)枝隨機(jī)分布于高大植株不同區(qū)域 攝像機(jī)需要以動(dòng)態(tài) 變化的視場(chǎng)尺度和視角采集圖像 因此 了解深度學(xué)習(xí) 模型對(duì)于不同遠(yuǎn)近視場(chǎng)尺度和拍攝視角場(chǎng)景下莖稈的識(shí) 別分割效果 是構(gòu)建整枝機(jī)器人視覺(jué)系統(tǒng)的必要依據(jù) 本文以工廠化番茄植株為研究對(duì)象 以不同生長(zhǎng)階 段 遠(yuǎn)近視場(chǎng)尺度和拍攝視角的植株圖像為樣本 建立 基于Mask R CNN的莖稈分割模型 研究以離散主莖和 側(cè)枝位置關(guān)系為約束的整枝操作點(diǎn)定位方法 并通過(guò)試 驗(yàn)評(píng)估算法對(duì)不同場(chǎng)景下目標(biāo)的識(shí)別定位效果 從而為 整枝機(jī)器人研發(fā)提供技術(shù)依據(jù) 1 番茄植株整枝原理 1 1 工廠化溫室番茄整枝規(guī)范 中國(guó)工廠化溫室番茄普遍采用單桿整枝栽培方式 即 只保留植株主莖 植株底部枝葉全部摘除 3 單次整枝打 葉需要摘除植株成熟變色果實(shí)上方的2 3片側(cè)枝 圖1 在植株結(jié)果生產(chǎn)期間 果實(shí)沿主莖自下而上依次生長(zhǎng)和 成熟 需要定期對(duì)植株不同區(qū)域進(jìn)行整枝打葉 1 成熟果實(shí)區(qū) 2 變色果實(shí)區(qū) 3 整枝打葉區(qū) 4 待摘除側(cè)枝 5 變色果實(shí) 1 Mature fruit area 2 Coloring fruit area 3 Pruning area 4 Lateral branch to prune 5 Coloring fruit 圖1 番茄植株整枝打葉 Fig 1 Tomato plant pruning 1 2 整枝操作點(diǎn) 整枝操作需要在植株側(cè)枝和主莖的結(jié)合點(diǎn)處 通過(guò) 折擰或者切割的方式將二者分離 以摘掉側(cè)枝 因此 側(cè)枝與主莖的結(jié)合點(diǎn)即為整枝操作點(diǎn) 如圖2所示 該 目標(biāo)點(diǎn)為主莖和側(cè)枝中心線交點(diǎn)沿側(cè)枝中心線偏移主莖 半徑距離后得到的點(diǎn) 識(shí)別分割主莖和側(cè)枝像素區(qū)域 是對(duì)整枝操作點(diǎn)定位的必要前提 圖2 整枝操作點(diǎn)定位原理 Fig 2 Principle of locating pruning point 2 基于Mask R CNN的番茄莖稈圖像分割 2 1 Mask R CNN算法原理 番茄植株圖像中莖桿與葉片和果實(shí)背景顏色相近 姿態(tài)各異 叢生交錯(cuò) 傳統(tǒng)的閾值分割和色差分割算法 難以對(duì)其進(jìn)行準(zhǔn)確識(shí)別和分割 鑒于深度卷積模型具備 特征提取和識(shí)別的獨(dú)特優(yōu)勢(shì) 本文選用Mask R CNN 23 對(duì)番茄主莖和側(cè)枝兩類(lèi)莖稈目標(biāo)進(jìn)行識(shí)別和分割 Mask R CNN算法流程如圖3所示 主要包括以下步驟 1 通過(guò)特征提取網(wǎng)絡(luò)ResNet50 FPN 23 對(duì)輸入圖像數(shù) 據(jù)進(jìn)行多尺度信息的提取和融合 并生成一系列特征圖 2 根據(jù)特征圖與輸入圖像的映射關(guān)系 設(shè)置各種尺 度比例和形態(tài)的矩形錨點(diǎn)框 區(qū)域建議網(wǎng)絡(luò) Region Proposal Network RPN 對(duì)特征圖進(jìn)行滑窗掃描 對(duì)框 內(nèi)目標(biāo)和輪廓進(jìn)行初步判斷 形成候選目標(biāo)區(qū)域 3 為了匹配后端全連接層固定數(shù)量的輸入節(jié)點(diǎn) RoIAlign Region of Interest Align network 算法對(duì)各個(gè) 候選區(qū)域的特征圖規(guī)格進(jìn)行標(biāo)準(zhǔn)化變換 將RPN網(wǎng)絡(luò)獲 得的目標(biāo)候選區(qū)域與特征圖進(jìn)行匹配對(duì)齊 4 標(biāo)準(zhǔn)化的候選區(qū)域特征圖 分別輸入目標(biāo)檢測(cè)和 分割兩個(gè)分支網(wǎng)絡(luò) 前者通過(guò)全連接層 Full Connection FC 識(shí)別主莖和側(cè)枝目標(biāo)類(lèi)別 并定位其各自邊界框位置 后者通過(guò)全卷積網(wǎng)絡(luò) Fully Convolutional Networks FCN 對(duì)主莖和側(cè)枝目標(biāo)像素區(qū)域進(jìn)行分割 注 ResNet為特征提取網(wǎng)絡(luò) RoIAlign為感興趣區(qū)域?qū)R網(wǎng)絡(luò) RPN為區(qū) 域建議網(wǎng)絡(luò) FCN為全卷積網(wǎng)絡(luò) FC為全連接層 Note ResNet is the feature extraction network RoIAlign is the region of interest align network RPN is the region proposal network FCN is the fully convolutional networks FC is the full connection layer 圖3 Mask R CNN模型架構(gòu) Fig 3 Mask R CNN model architecture 2 2 圖像樣本采集和標(biāo)注 除了自身外觀特征 目標(biāo)在圖像中的成像特征還決 定于拍攝角度和成像距離 鑒于番茄整枝幾乎貫穿整個(gè) 生長(zhǎng)周期 自然生長(zhǎng)的主莖和側(cè)枝個(gè)體之間位置和形態(tài) 各不相同 本文選用的植株樣本包括生長(zhǎng)期植株 側(cè)枝 目標(biāo)主要生長(zhǎng)于主莖底部區(qū)域 如圖4a所示 和生產(chǎn)期 植株 主莖底部側(cè)枝已經(jīng)被去除 側(cè)枝主要生長(zhǎng)于植株 農(nóng)業(yè)工程學(xué)報(bào) http www tcsae org 2022年 130 中部區(qū)域 如圖4b所示 樣本圖像視場(chǎng)尺度分為遠(yuǎn)景 視場(chǎng) 包含3個(gè)以上側(cè)枝 和近景視場(chǎng) 包含1 2個(gè)側(cè) 枝 樣本圖像的拍攝角度分為仰視視場(chǎng) 從側(cè)枝下方 采集圖像 和正視視場(chǎng) 從水平正視方向采集圖像 如圖4所示 番茄植株圖像數(shù)據(jù)集可分為8組圖像樣本 DU DF CU CF a 生長(zhǎng)期 a Growing period DU DF CU CF b 生產(chǎn)期 b Productive period 注 DU DF CU CF分別為遠(yuǎn)景仰視 遠(yuǎn)景正視 近景仰視 近景正視 拍攝圖像 下同 Note DU DF BE and CF are the images captured from distant upward view distant front view close upward view and close front view respectively Same below 圖4 圖像樣本舉例 Fig 4 Example of image samples 在溫室內(nèi)共采集各組圖像1 500幅 為了提高模型訓(xùn) 練和檢測(cè)效率 圖像樣本設(shè)置為720 720像素規(guī)格 通過(guò) 隨機(jī)添加高斯噪聲 將樣本擴(kuò)充至3 000幅 按照8 2的 比例劃分為訓(xùn)練集與驗(yàn)證集 8組圖像樣本訓(xùn)練集和驗(yàn)證 集樣本數(shù)量均分別為300和75 由莖稈圖像觀察可知 主莖與側(cè)枝相間生長(zhǎng) 主莖 呈豎直傾斜姿態(tài) 側(cè)枝在其兩側(cè)生長(zhǎng) 呈橫向傾斜姿態(tài) 為了模型能夠充分解析二者的特征 將側(cè)枝之間的離散 主莖標(biāo)注為一類(lèi)目標(biāo) 側(cè)枝及其與主莖的連接區(qū)域標(biāo)注 為另一類(lèi)目標(biāo) 采用Labelme標(biāo)注工具 通過(guò)沿主莖和 側(cè)枝輪廓多邊形描點(diǎn)方式 對(duì)圖片內(nèi)的目標(biāo)區(qū)域分別進(jìn) 行標(biāo)注 并生成json文件保存標(biāo)注信息 2 3 Mask R CNN模型遷移訓(xùn)練 本文選用的Mast RCNN預(yù)訓(xùn)練模型 來(lái)自于香港中 文大學(xué)Multimedia Laboratory開(kāi)發(fā)的基于PyTorch的開(kāi)源 對(duì)象檢測(cè)工具箱MMDetection 24 深度學(xué)習(xí)工作站主要 硬件配置包括Intel i7 10700K CPU NVIDIA 1080TI GPU DDR4 16GB內(nèi)存 訓(xùn)練方法采用微調(diào)遷移訓(xùn)練方法 具體步驟包括 1 以預(yù)訓(xùn)練模型的特征提取網(wǎng)絡(luò)權(quán)值對(duì)Mask R CNN網(wǎng)絡(luò) 進(jìn)行初始化 而后端目標(biāo)分類(lèi) 邊框回歸和全卷積網(wǎng)絡(luò) 參數(shù)為隨機(jī)初始化 2 凍結(jié)特征提取網(wǎng)絡(luò)權(quán)值參數(shù) 設(shè) 置學(xué)習(xí)率0 02對(duì)后端網(wǎng)絡(luò)進(jìn)行訓(xùn)練 3 設(shè)置學(xué)習(xí)率0 002 對(duì)整個(gè)網(wǎng)絡(luò)權(quán)值參數(shù)進(jìn)行微調(diào)訓(xùn)練 對(duì)2 400個(gè)訓(xùn)練集圖像樣本進(jìn)行200次重復(fù)訓(xùn)練 模 型更新迭代12萬(wàn)次 單次迭代樣本批量為4 每次迭 代耗時(shí)0 12 s 總耗時(shí)30 h 當(dāng)?shù)?萬(wàn)次時(shí) 將學(xué)習(xí)率 調(diào)整至0 1倍 最終10萬(wàn)次迭代以后 模型各項(xiàng)損失下 降趨于平穩(wěn) 模型各項(xiàng)損失函數(shù)和總體識(shí)別精確度隨模 型迭代次數(shù)變化如圖5 所示 最終總體損失函數(shù)值為 0 126 平均精度均值 mean Average Precision mAP 為0 866 a 損失函數(shù)隨模型迭代變化曲線 a Loss functions curve with model iteration b 平均精度均值隨模型迭代變化曲線 b Mean average precision curve with model iteration 圖5 損失函數(shù)與平均精度均值變化曲線 Fig 5 Loss function and mean Average Precision mAP curve 模型對(duì)莖稈目標(biāo)類(lèi)別識(shí)別和區(qū)域分割效果如圖6所 示 主莖區(qū)域被標(biāo)注為藍(lán)色掩膜 側(cè)枝區(qū)域被標(biāo)注為紅 色掩膜 圖6 Mask R CNN識(shí)別結(jié)果 Fig 6 Identification result of Mask R CNN 3 整枝操作點(diǎn)定位 3 1 離散莖稈位置關(guān)系判別 在同一植株上 且處于相鄰位置的主莖和側(cè)枝中心 線交點(diǎn)才能作為整枝操作參考點(diǎn) 對(duì)于圖像中屬于不同 植株 隨機(jī)分布的主莖和側(cè)枝 明確離散主莖和側(cè)枝目 標(biāo)區(qū)域相對(duì)植株的從屬關(guān)系和位置關(guān)系 是對(duì)整枝操作 點(diǎn)進(jìn)行定位的必要依據(jù) 第3期 馮青春等 基于Mask R CNN的番茄植株整枝操作點(diǎn)定位方法 131 如圖7所示 對(duì)于識(shí)別結(jié)果圖像內(nèi)主莖和側(cè)枝兩類(lèi) 目標(biāo)區(qū)域表示為M和L 設(shè)定n和m分別為主莖和側(cè)枝 在視場(chǎng)內(nèi)自上而下的分布排序編號(hào) 設(shè) M Mn nu v 和 L Lm mu v 分別表示第n個(gè)主莖目標(biāo)區(qū)域和第m個(gè)側(cè)枝目標(biāo) 區(qū)域的質(zhì)心坐標(biāo) M Mntop ntopu v 和 M Mnbottom nbottomu v 分別表示 第n個(gè)主莖區(qū)域的上端點(diǎn)和下端點(diǎn)坐標(biāo) 對(duì)于n m的主莖Mn和側(cè)枝Lm 計(jì)算二者質(zhì)心距離 2 2 M L M L n m n m n md u u v v 主莖區(qū)域Mn 的長(zhǎng)度 2 2 M M M M n m ntop nbottom ntop nbottoml u u v v 其位置關(guān)系判 別依據(jù)為 當(dāng) n m n md l 則認(rèn)為Mn和Lm屬于同株番茄 的相鄰主莖和側(cè)枝 當(dāng) n m n md l 則認(rèn)為Mn和Lm為異 株番茄的主莖和側(cè)枝 將其從候選目標(biāo)區(qū)域剔除掉 如 此重復(fù) 直到所有主莖區(qū)域均匹配得到與之相鄰的側(cè)枝 區(qū)域 且認(rèn)為其二者可連接處為整枝操作點(diǎn) 1 屬于同株且相鄰的主莖與側(cè)枝 2 屬于異株的主莖和側(cè)枝 1 Main stem and lateral branch adjacent with each other of the same plant 2 Main stem and lateral branch of the different plants 注 M Mn nu v 和 L Lm mu v 分別表示第n個(gè)主莖目標(biāo)區(qū)域和第m個(gè)側(cè)枝目標(biāo) 區(qū)域的質(zhì)心坐標(biāo) M Mntop ntopu v 和 M Mnbottom nbottomu v 分別表示第n 個(gè)主莖區(qū)域 的上端點(diǎn)和下端點(diǎn)坐標(biāo) Note M Mn nu v and L Lm mu v represent the centroid coordinates of the n th main stem target area and the m th lateral branch target area respectively M Mntop ntopu v and M Mnbottom nbottomu v represent the coordinates of the upper and lower endpoints of the n th main stem region respectively 圖7 主莖與側(cè)枝位置關(guān)系判別 Fig 7 Relative location estimation of main stem and lateral branch 3 2 莖稈中心線擬合 目標(biāo)區(qū)域的中心線是其內(nèi)部像素分布特征的重要體 現(xiàn) 具有平移 旋轉(zhuǎn)和尺度不變性 圖像矩 25 用于描述 形狀的全局特征 其中二階中心矩表示圍繞垂直和水平 中心線的慣性矩 以主莖區(qū)域Mn為例 設(shè)其內(nèi)任意像素 點(diǎn)i坐標(biāo)為 M Mni niu v 質(zhì)心坐標(biāo)為 M Mn nu v 其二階中心 距 M02 M11 M20 表示為式 1 202 2 20 11 M M i n ni M M i n ni M M M M i n n i n n i M u u M v v M u u v v 1 如圖8所示 主莖區(qū)域Mn中心線方向與過(guò)其質(zhì)心的 水平線的夾角 Mn 可表示為式 2 11 20 02 2arctan 90 90 M M n n M M M 2 當(dāng) 0Mn 則主莖區(qū)域位于水平軸下方 當(dāng) 0Mn 則其位于水平軸的上方 根據(jù) Mn 和 M Mn nu v 可得相應(yīng) 主莖區(qū)域Mn中心線上的點(diǎn) M MC Cu v 滿足如式 3 所示 中心線方程 同理可得側(cè)枝區(qū)域Lm中心線方程 tanM M MC n nM M C n u u v v 3 1 側(cè)枝 2 主莖 3 主莖中心線 4 側(cè)枝中心線 5 過(guò)主莖中心水平線 6 過(guò) 側(cè)枝中心水平線 1 Lateral branch 2 Main stem 3 Main stem centerline 4 Lateral branch centerline 5 Horizontal line through main stem centerline 6 Horizontal line through lateral branch centerline 圖8 中心線擬合與整枝操作點(diǎn)定位 Fig 8 Centerline fitting and pruning point locating 已知同株相鄰主莖和側(cè)枝中心線方向角度分別為 M n 和 L m 質(zhì)心坐標(biāo)分別 M M n nu v 和 L L m mu v 在獲得相 鄰主莖和側(cè)枝中心線基礎(chǔ)上 由式 4 求其交點(diǎn) c c cP u v 坐標(biāo) 作為整枝操作參考點(diǎn) tan tan M M c n n M c n L L c m m L c m u u v v u u v v 4 設(shè)主莖區(qū)域Mn像素寬度為 Mnd 交點(diǎn) cP沿側(cè)枝中心 線偏移 2Mnd 即得到整枝操作點(diǎn)的圖像坐標(biāo)Pp up vp 如式 5 式 6 所示 當(dāng)側(cè)枝位于主莖左側(cè) Mc nv v 時(shí) cos2 sin 02 sin 02 M L np c m M L L np c m m M L L np c m m dv v du u du u 5 當(dāng)側(cè)枝位于主莖右側(cè) Mc nv v 時(shí) 農(nóng)業(yè)工程學(xué)報(bào) http www tcsae org 2022年 132 cos2 sin 02 sin 02 M L np c m M L L np c m m M L L np c m m dv v du u du u 6 4 試驗(yàn)及結(jié)果分析 4 1 試 驗(yàn) 為了驗(yàn)證整枝操作點(diǎn)的識(shí)別定位效果 結(jié)合工廠化 番茄溫室實(shí)際作業(yè)工況條件特點(diǎn) 進(jìn)一步采集番茄植株 圖像 建立與訓(xùn)練集樣本構(gòu)成相同比例的測(cè)試集 包括 遠(yuǎn)景和近景視場(chǎng) 正視和仰視視角 生長(zhǎng)期和生產(chǎn)期植 株圖像樣本80幅 模型自動(dòng)輸出和保存對(duì)圖像中主莖和 側(cè)枝離散區(qū)域的識(shí)別和分割結(jié)果 并記錄整枝操作點(diǎn)的 圖像坐標(biāo) 1 主莖和側(cè)枝目標(biāo)識(shí)別精度評(píng)估 結(jié)合不同場(chǎng)景樣本圖像分組 分別記錄人工標(biāo)注和模 型自動(dòng)識(shí)別的番茄植株離散主莖和側(cè)枝數(shù)量 采用錯(cuò)誤 率 精確率和召回率等3個(gè)指標(biāo) 評(píng)價(jià)Mask R CNN模型 對(duì)目標(biāo)的識(shí)別效果 設(shè)測(cè)試集中目標(biāo) 主莖或側(cè)枝 正確 識(shí)別 錯(cuò)誤識(shí)別和未識(shí)別的數(shù)量分別為NT NF和NU 人 工識(shí)別標(biāo)注數(shù)量為N 則識(shí)別錯(cuò)誤率Err U FN N N 精確率Pre T T FN N N 召回率Rec TN N 2 整枝操作點(diǎn)定位精度評(píng)估 以操作點(diǎn)自動(dòng)識(shí)別定位結(jié)果與人工標(biāo)注結(jié)果的圖像 坐標(biāo)偏差 評(píng)價(jià)模型對(duì)操作點(diǎn)的定位精度 鑒于坐標(biāo)絕 對(duì)偏差在不同遠(yuǎn)近尺度圖像內(nèi)表示的物理距離不同 無(wú) 法定量表征真實(shí)定位誤差 假設(shè)番茄植株整枝區(qū)域主莖 的物理直徑是常數(shù) d表示主莖在不同遠(yuǎn)近尺度圖像樣本 中的像素寬度 以自動(dòng)識(shí)別和人工標(biāo)注整枝操作點(diǎn)圖像 像素偏差距離D與d的比值 表征操作點(diǎn)圖像定位誤差 4 2 結(jié)果與分析 對(duì)測(cè)試集80幅圖像進(jìn)行人工檢測(cè) 其中每個(gè)場(chǎng)景分 組各10幅 測(cè)試集莖稈目標(biāo)分布涉及94株番茄植株 其中14幅圖像包含2株以上 測(cè)試集共包含離散主莖區(qū) 域224個(gè) 側(cè)枝區(qū)域163個(gè) 標(biāo)定整枝操作點(diǎn)163個(gè) 每幅圖像平均包含主莖區(qū)域2 80個(gè) 側(cè)枝2 03個(gè) 具體 統(tǒng)計(jì)如表1所示 表1 測(cè)試集莖稈目標(biāo)人工標(biāo)注統(tǒng)計(jì) Table 1 Manual identification results on test set 生長(zhǎng)期Growing period 生產(chǎn)期Productive period 結(jié)果 Result DU DF CU CF DU DF CU CF 合計(jì) Total 主莖數(shù)量 Main stem number 35 55 22 28 21 26 12 25 224 側(cè)枝數(shù)量 Lateral branch number 26 46 14 18 15 16 15 13 163 1 主莖和側(cè)枝目標(biāo)識(shí)別結(jié)果與分析 將測(cè)試集圖像分別輸入自動(dòng)識(shí)別模型 根據(jù)圖像場(chǎng) 景特征對(duì)識(shí)別結(jié)果進(jìn)行分組統(tǒng)計(jì) 模型對(duì)測(cè)試集圖像樣 本內(nèi)的主莖和側(cè)枝目標(biāo)識(shí)別分類(lèi)結(jié)果如表2所示 表2 測(cè)試集中主莖和側(cè)枝目標(biāo)識(shí)別結(jié)果 Table 2 Identification results for main stems and lateral branches in test sample set 生長(zhǎng)期Growing period 生產(chǎn)期Productive period 項(xiàng)目 Item DU DF CU CF DU DF CU CF 合計(jì) Total NT 29 53 22 28 19 23 12 25 211 NF 0 0 0 2 0 0 0 4 6 主莖 Main stem NU 6 2 0 0 2 3 0 0 13 NT 26 41 14 18 14 13 15 13 154 NF 0 8 0 3 0 4 0 4 19 側(cè)枝 Lateral branch NU 0 5 0 0 1 3 0 0 9 注 NT NF和NU分別代表正確識(shí)別 錯(cuò)誤識(shí)別和未識(shí)別的數(shù)量 Note N T NF and NU are the quantity of correctly identified misidentified and unidentified respectively 以人工檢測(cè)結(jié)果為對(duì)照 正確識(shí)別主莖和側(cè)枝數(shù)量 分別為211和154 誤判數(shù)量分別為6和19 未被識(shí)別 的數(shù)量為13和9 其中近景仰視圖像中錯(cuò)誤和未被識(shí)別 的主莖和側(cè)枝數(shù)量均為0 遠(yuǎn)景仰視圖像中錯(cuò)誤和未被識(shí) 別的側(cè)枝數(shù)量為0 對(duì)于全體測(cè)試集樣本 主莖識(shí)別錯(cuò)誤率 0 08 低于 側(cè)枝 0 17 生長(zhǎng)期植株的仰視遠(yuǎn)景圖像和生產(chǎn)期植株 的正視近景圖像中主莖識(shí)別錯(cuò)誤較大 分別為0 17 和 0 16 主要原因?yàn)?1 前者植株底部葉片較多 主莖受 到葉片遮擋 圖9a 識(shí)別難度增大 從而導(dǎo)致未識(shí)別的 主莖較多 29個(gè)主莖中6個(gè)未被識(shí)別 2 后者枝葉普 遍相對(duì)較粗 圖9b 4個(gè)側(cè)枝或葉柄被錯(cuò)判為主莖 生 產(chǎn)期遠(yuǎn)近景的正視圖像中側(cè)枝識(shí)別錯(cuò)誤均較大 分別為 0 43和0 31 主要原因?yàn)?正視條件下果柄被誤判為側(cè) 枝 圖9c 隨著生產(chǎn)期植株果實(shí)數(shù)量增加 識(shí)別錯(cuò)誤率 更高 此外 生產(chǎn)期植株的遠(yuǎn)景正視圖像中 受其他枝 葉遮擋 圖9d 8個(gè)側(cè)枝未被識(shí)別 導(dǎo)致錯(cuò)誤率較高為 0 28 a 主莖受葉片遮擋 a Stem overlapped by leaves b 側(cè)枝誤判為主莖 b Leaf stem identified as main stem c 果柄被誤判為側(cè)枝 c Fruit stem identified as lateral branch d 側(cè)枝因遮擋而漏判 d Lateral branch overlapped by leaves 圖9 目標(biāo)錯(cuò)誤識(shí)別結(jié)果 Fig 9 False identification results 如表3所示 模型對(duì)于主莖和側(cè)枝的總體識(shí)別錯(cuò)誤 率 精確率和召回率分別為0 12 0 93和0 94 并且對(duì)于 第3期 馮青春等 基于Mask R CNN的番茄植株整枝操作點(diǎn)定位方法 133 生長(zhǎng)期和生產(chǎn)期的近景仰視圖像樣本均具有最好的識(shí)別 效果 即模型對(duì)于近景仰視的番茄植株場(chǎng)景具有較好的適 應(yīng)性 該場(chǎng)景下主莖和側(cè)枝受到遮擋較少 同時(shí)仰視條件 下果柄被果實(shí)遮擋 在圖像中出現(xiàn)較少 從而避免了被誤 判為側(cè)枝 表3 目標(biāo)識(shí)別精度統(tǒng)計(jì) Table 3 Targets identification accuracy statistics 生長(zhǎng)期Growing period 生產(chǎn)期Productive period 項(xiàng)目Item DU DF CU CF DU DF CU CF 總體 Total 錯(cuò)誤率 Error rate 0 10 0 15 0 0 11 0 08 0 23 0 0 21 0 12 精確率 Precise rate 1 00 0 92 1 00 0 90 1 00 0 90 1 00 0 83 0 93 召回率 Recall rate 0 90 0 93 1 00 1 00 0 92 0 86 1 00 1 00 0 94 2 整枝操作點(diǎn)定位結(jié)果與分析 本文將不同尺度圖像中整枝操作點(diǎn)定位像素偏差與 主莖像素寬度的比值作為其定位誤差 統(tǒng)計(jì)如表4所示 全體測(cè)試集樣本圖像中 整枝操作點(diǎn)的圖像定位誤差平 均值為0 34 不同場(chǎng)景中最大誤差平均值為0 47 最小 誤差平均值為0 11 對(duì)于生長(zhǎng)期植株的正視遠(yuǎn)景圖像 誤差最大為0 76 生產(chǎn)期植株的仰視近景圖像 誤差最 小為0 03 由于與生產(chǎn)期植株相比 生長(zhǎng)期植株的主莖 較細(xì) 因此生長(zhǎng)期植株圖像樣本的操作點(diǎn)定位誤差普遍 偏大 同時(shí) 由于近景圖像樣本具有較高的目標(biāo)分割精 度 因此近景圖像的操作點(diǎn)定位精度較高 此外 相比 正視場(chǎng)景 仰視場(chǎng)景圖像中側(cè)枝自身彎曲特征被弱化 側(cè)枝中心線擬合較為準(zhǔn)確 整枝操作點(diǎn)的定位誤差較小 表4 整枝操作點(diǎn)圖像定位誤差統(tǒng)計(jì) Table 4 Pruning point location pixel error statistics 生長(zhǎng)期Growing period 生產(chǎn)期Productive period 項(xiàng)目Item DU DF CU CF DU DF CU CF 總體 Total 平均誤差 Average error 0 48 0 57 0 22 0 28 0 33 0 41 0 18 0 26 0 34 最大誤差 Max error 0 63 0 76 0 31 0 43 0 46 0 59 0 28 0 32 0 47 最小誤差 Min error 0 11 0 16 0 12 0 17 0 12 0 10 0 03 0 05 0 11 假設(shè)番茄主莖直徑為15 mm 人工測(cè)量統(tǒng)計(jì)的平均 值 由表4可知 整枝操作點(diǎn)的絕對(duì)定位誤差平均值 為5 12 mm 最大誤差11 4 mm 最小誤差0 45 mm 考 慮到側(cè)枝平均直徑約為10 mm 可夾持長(zhǎng)度約150 mm 為了包容整枝操作點(diǎn)定位誤差 側(cè)枝夾持手爪有效行程 最大增加11 4 mm 該額外行程的增加對(duì)手爪構(gòu)型設(shè)計(jì) 運(yùn)動(dòng)控制方面構(gòu)成的技術(shù)風(fēng)險(xiǎn)較小 因此認(rèn)為本文定位 精度可以滿足整枝機(jī)器人的作業(yè)需要 5 結(jié) 論 針對(duì)番茄智能化整枝莖稈目標(biāo)視覺(jué)信息獲取需要 綜合考慮植株生長(zhǎng)階段 遠(yuǎn)景視場(chǎng)以及拍攝角度等因素 建立了番茄植株莖稈圖像樣本數(shù)據(jù)集 采用微調(diào)遷移訓(xùn) 練方法 建立了基于Mask R CNN的主莖和側(cè)枝目標(biāo)識(shí) 別分割模型 通過(guò)離散莖稈區(qū)域圖像位置關(guān)系判別 實(shí) 現(xiàn)了整枝操作點(diǎn)的定位 試驗(yàn)結(jié)果表明 對(duì)于不同場(chǎng)景的圖像樣本 Mask R CNN模型對(duì)主莖和側(cè)枝識(shí)別的錯(cuò)誤率 準(zhǔn)確率和召回 率分別為0 12 0 93和0 94 并且對(duì)于仰視近景視場(chǎng)具 有更好識(shí)別效果 對(duì)于整枝操作點(diǎn)定位誤差的平均值 最大值和最小值與對(duì)應(yīng)主莖像素寬度的比值分別為0 34 0 76和0 03 若設(shè)定主莖直徑為15 mm 枝操作點(diǎn)的定 位誤差平均值為5 12 mm 最大誤差11 4 mm 最小誤差 0 45 mm 同樣在仰視近景場(chǎng)景下定位精度較高 因此 仰視近景圖像信息獲取有利于整枝目標(biāo)視覺(jué)信息的準(zhǔn)確 獲取 本文研究結(jié)論為后期開(kāi)展整枝機(jī)器人視覺(jué)系統(tǒng)研 發(fā)提供了設(shè)計(jì)依據(jù) 此外 由于本文算法僅限于二維圖像特征處理 缺 乏莖稈形態(tài)立體信息融合 對(duì)于整枝操作點(diǎn)定位方法和 精度評(píng)估試驗(yàn) 尚有待改進(jìn)之處 可進(jìn)一步采用深度相 機(jī)獲取莖稈立體位姿信息 以得到更加精確定位效果 參 考 文 獻(xiàn) 1 Food and Agriculture Organization of the United Nations Tomato production 2019 EB OL 2020 01 01 2021 11 08 https ourworldindata org grapher tomato production time 2018 2 Kelley W T Commercial tomato production handbook EB OL 2017 01 30 2021 11 08 https extension uga edu publications detail html number B1312 3 田素波 潘子龍 胡永軍 等 不同整枝方式對(duì)番茄產(chǎn)量 和品質(zhì)的影響 J 長(zhǎng)江蔬菜 2012 22 41 43 Tian Subo Pan Zilong Hu Yongjun et al Effects of different pruning methods on yield and quality of tomato J Journal of Changjiang Vegetables 2012 22 41 43 in Chinese with English abstract 4 鄭偉 番茄主產(chǎn)區(qū)農(nóng)戶生產(chǎn)投入產(chǎn)出調(diào)查分析 J 農(nóng)村經(jīng) 濟(jì)與科技 2019 30 9 112 114 Zheng Wei Investigation and analysis on production input output of tomato farmers in main producing areas J Rural Economy and Science Technology 2019 30 9 112 114 in Chinese with English abstract 5 Priva Priva kompano deleaf line EB OL 2021 10 07 2021 11 08 http www priva tories 2016 priva kompano deleaf line 6 Lucy C Scientists create gardening robot to help out with pruning and trimming EB OL 2019 10 24 2021 11 08 https www independent ie world news and finally scientists c reate gardening robot to help out with pruning and trimming 38629630 html 7 Richard L Automated pruning with robotics EB OL 2015 04 13 2021 11 08 mated pruning with robotics 農(nóng)業(yè)工程學(xué)報(bào) http www tcsae org 2022年 134 8 Henten E Tuijl B Hoogakker G An autonomous robot for de leafing cucumber plants grown in a high wire cultivation system J Biosystems Engineering 2006 94 3 317 323 9 Ishigure Y Hirai K Kawasaki H A pruning robot with a power saving chainsaw drive C IEEE International Conference on Mechatronics and Automation Takamatsu Japan IEEE Computer Society 2013 10 Hamuda E Glavin M Jones E A survey of image processing techniques for plant extraction and segmentation in the field J Computers and Electronics in Agriculture 2016 125 184 199 11 Yosinski J Clune J Bengio Y et al How transferable are features in deep neural networks J Advances in Neural Information Processing Systems 2014 27 3320 3328 12 孫紅 李松 李民贊 等 農(nóng)業(yè)信息成像感知與深度學(xué)習(xí) 應(yīng)用研究進(jìn)展 J 農(nóng)業(yè)機(jī)械學(xué)報(bào) 2020 51 5 1 17 Sun Hong Li Song Li Minzan et al Research progress of image sensing and deep learning in agri