基于改進(jìn)Mask R-CNN的番茄側(cè)枝修剪點(diǎn)識(shí)別方法.pdf

第38卷 第23期 農(nóng) 業(yè) 工 程 學(xué) 報(bào) Vol 38 No 23 112 2022年 12月 Transactions of the Chinese Society of Agricultural Engineering Dec 2022 基于改進(jìn)Mask R CNN的番茄側(cè)枝修剪點(diǎn)識(shí)別方法 梁喜鳳1 章鑫宇1 王永維2 1 中國計(jì)量大學(xué)機(jī)電工程學(xué)院 杭州 310018 2 浙江大學(xué)生物系統(tǒng)工程與食品科學(xué)學(xué)院 杭州 310058 摘 要 為解決番茄枝葉修剪機(jī)器人無法準(zhǔn)確識(shí)別番茄側(cè)枝修剪點(diǎn)的問題 提出基于改進(jìn)Mask R CNN模型的番茄側(cè)枝 修剪點(diǎn)的識(shí)別方法 將Mask R CNN的主干網(wǎng)絡(luò)ResNet50替換為MobileNetv3 Large來降低模型復(fù)雜度和提升運(yùn)行速度 并對(duì)部分特征圖添加ECA Efficient Channel Attention 注意力機(jī)制 以提升模型精度 通過改進(jìn)的Mask R CNN模型預(yù) 測番茄側(cè)枝與主枝的分割掩膜和邊框位置 針對(duì)部分單根枝條被分割成多段掩膜的問題 通過掩膜邊界框?qū)捀弑葏^(qū)分側(cè) 枝和主枝 分析同一枝條相鄰掩膜約束條件 然后將符合約束條件的掩膜進(jìn)行合并連接 根據(jù)修剪點(diǎn)在主枝附近的特點(diǎn) 確定修剪點(diǎn)所在端 確定靠近修剪端端點(diǎn)的中心點(diǎn)作為側(cè)枝的修剪點(diǎn) 試驗(yàn)結(jié)果表明 改進(jìn)的Mask R CNN模型平均分 割圖片時(shí)間為0 319 s 召回率和精確率分別為91 2 和88 6 掩膜平均合并成功率為86 2 修剪點(diǎn)識(shí)別平均準(zhǔn)確率為 82 9 該研究為番茄枝葉修剪機(jī)器人的研發(fā)提供參考 關(guān)鍵詞 模型 圖像識(shí)別 目標(biāo)檢測 Mask R CNN 側(cè)枝 主枝 修剪點(diǎn) doi 10 11975 j issn 1002 6819 2022 23 012 中圖分類號(hào) TP391 41 文獻(xiàn)標(biāo)志碼 A 文章編號(hào) 1002 6819 2022 23 0112 10 梁喜鳳 章鑫宇 王永維 基于改進(jìn)Mask R CNN的番茄側(cè)枝修剪點(diǎn)識(shí)別方法 J 農(nóng)業(yè)工程學(xué)報(bào) 2022 38 23 112 121 doi 10 11975 j issn 1002 6819 2022 23 012 http www tcsae org Liang Xifeng Zhang Xinyu Wang Yongwei Recognition method for the pruning points of tomato lateral branches using improved Mask R CNN J Transactions of the Chinese Society of Agricultural Engineering Transactions of the CSAE 2022 38 23 112 121 in Chinese with English abstract doi 10 11975 j issn 1002 6819 2022 23 012 http www tcsae org 0 引 言 番茄是世界上栽培最為普遍的果蔬之一 中國是世 界上番茄生產(chǎn)總量最多國家之一 1 2 枝葉修剪是番茄種 植過程中的重要環(huán)節(jié) 及時(shí)修剪枝葉可以改善植株通透 性 降低病害率和提高番茄經(jīng)濟(jì)效益 3 由于葉子生長在 側(cè)枝上 目前番茄枝葉修剪主要通過人工割斷或掰斷側(cè) 枝實(shí)現(xiàn) 這樣不僅增加了人工成本 在割斷或掰斷過程 中還會(huì)造成番茄植株的損傷 4 5 規(guī)?；N植的番茄植株 間的行距較為寬闊 適合枝葉修剪自動(dòng)化作業(yè) 6 因此 研發(fā)番茄枝葉修剪機(jī)器人代替人工摘葉是可行且有必要 的 而要實(shí)現(xiàn)番茄枝葉修剪自動(dòng)化作業(yè) 番茄側(cè)枝 主 枝的檢測與修剪點(diǎn)的識(shí)別十分重要 目前 學(xué)者們?cè)谥仓曛l自動(dòng)化修剪和果蔬采摘方 面進(jìn)行了相關(guān)研究 荷蘭Priva公司在2017年發(fā)布了一 款番茄枝葉修剪機(jī)器人 可實(shí)現(xiàn)番茄枝葉自動(dòng)化修剪 7 寧政通等 8 通過改進(jìn)Mask R CNN對(duì)葡萄果梗進(jìn)行識(shí)別 與分割 葡萄果梗的識(shí)別平均精確率為88 嚴(yán)亞飛 9 為了解決枸杞枝條自然環(huán)境下識(shí)別干擾多的問題 采用 k means 聚類分割法識(shí)別出枸杞枝條 韋錦等 10 采用 DA2 YOLOv4模型識(shí)別綠籬 檢測速度為83 1幀 s 平 均精確率為98 5 Peng等 11 采用DeepLab v3 分割荔枝 收稿日期 2022 9 16 修訂日期 2022 11 11 基金項(xiàng)目 國家自然科學(xué)基金資助項(xiàng)目 31971796 作者簡介 梁喜鳳 博士 教授 研究方向?yàn)檗r(nóng)業(yè)機(jī)器人 Email lxfcjlu 枝條 模型分割的平均交并比為76 5 Zhang等 12 采用 R CNN檢測蘋果分支 平均召回率與準(zhǔn)確率分別為91 5 和85 5 Qi等 13 采用TC YOLO模型檢測茶菊花 檢 測平均精度為92 49 檢測速度為47 23幀 s 該算法在 復(fù)雜和非結(jié)構(gòu)化環(huán)境下仍表現(xiàn)出較高魯棒性 馬志艷等 14 采用改進(jìn)的Mask R CNN模型分割莖稈雜質(zhì) 分割識(shí)別 準(zhǔn)確度可達(dá)91 12 平均處理時(shí)間為3 57 s Palacios等 15 結(jié)合VGG19與Segnet對(duì)葡萄花穗進(jìn)行檢測與分割 F1 分?jǐn)?shù)分別為0 93和0 73 Afonso等 16 建立了基于Mask R CNN的成熟番茄和未成熟番茄識(shí)別模型 識(shí)別準(zhǔn)確率 分別為95 和94 陳鋒軍等 17 采用改進(jìn)的EfficientDet 模型檢測油橄欖果實(shí)的成熟度 精確率和召回率分別為 92 89 和93 59 Liang等 18 采用YoloV3與U Net相結(jié) 合的方法檢測與分割夜間環(huán)境下的荔枝與果梗 試驗(yàn)表 明精確度與魯棒性較高 上述研究表明 植株枝條自動(dòng)化修剪和果蔬采摘領(lǐng) 域已經(jīng)有了一定的進(jìn)展 而番茄側(cè)枝修剪點(diǎn)識(shí)別方面的 研究較少且以傳統(tǒng)圖像處理方法為主 傳統(tǒng)圖像處理方 法和卷積神經(jīng)網(wǎng)絡(luò)檢測方法是常見的目標(biāo)識(shí)別方法 由 于番茄植株側(cè)枝 主枝 葉片與未成熟果實(shí)顏色相近 采用基于閾值特征的傳統(tǒng)圖像處理方法無法進(jìn)行有效區(qū) 分和分割 而卷積神經(jīng)網(wǎng)絡(luò)模型可以基于目標(biāo)的顏色 形態(tài)和紋理特征檢測出番茄植株的主枝和側(cè)枝 本文以規(guī)?；N植的番茄植株為研究對(duì)象 為解決 傳統(tǒng)圖像處理方法難以將枝條從近色背景中有效分割的 問題和保證不同環(huán)境下識(shí)別的魯棒性 采用 MobileNetv3 Large替換Mask R CNN模型的主干網(wǎng)絡(luò) 農(nóng)業(yè)信息與電氣技術(shù) 第23期 梁喜鳳等 基于改進(jìn)Mask R CNN的番茄側(cè)枝修剪點(diǎn)識(shí)別方法 113 并引入ECA Efficient Channel Attention 注意力機(jī)制 以此建立了一種基于改進(jìn)Mask R CNN的番茄主枝與側(cè) 枝的檢測分割模型 利用同一枝條相鄰掩膜約束合并被 分割成多段掩膜的單根枝條 通過側(cè)枝修剪點(diǎn)在主枝附 近的特點(diǎn)識(shí)別修剪點(diǎn) 為番茄枝葉修剪機(jī)器人修剪點(diǎn)的 識(shí)別提供了技術(shù)支持 1 模型檢測分割 1 1 建立數(shù)據(jù)集 圖像數(shù)據(jù)采集于杭州傳化來春農(nóng)場 在2022年4 7 月期間拍攝晴天和陰天條件下番茄植株枝條800張圖片 采樣距離為300 600 mm 圖片尺寸調(diào)整為960 704像 素 為了提升模型的泛化能力和魯棒性 通過鏡像 平 移 添加高斯噪聲的方式進(jìn)行數(shù)據(jù)增強(qiáng) 最終得到3 200 張圖片 隨機(jī)選擇1 000張圖片作為數(shù)據(jù)集 其中800張 為訓(xùn)練集 200張為測試集 番茄植株整株枝條形態(tài)不一 將植株上的所有枝條 視作一個(gè)整體進(jìn)行標(biāo)記不利于神經(jīng)網(wǎng)絡(luò)提取枝條的形狀 特征 所以本文采用如圖1所示的分段標(biāo)記方式進(jìn)行標(biāo) 注 即將每根枝條視作一個(gè)單獨(dú)的標(biāo)記目標(biāo) 由于側(cè)枝 是修剪作業(yè)對(duì)象 主枝是作為后續(xù)修剪點(diǎn)識(shí)別的輔助對(duì) 象 所以選擇側(cè)枝和主枝作為標(biāo)記訓(xùn)練對(duì)象 類別均為 branch 側(cè)枝與主枝后續(xù)可通過邊界框?qū)捀弑葏^(qū)分 圖 1a 中番茄植株有3個(gè)標(biāo)記對(duì)象 包括1個(gè)主枝和2個(gè)側(cè)枝 分段標(biāo)記后生成了與枝條對(duì)應(yīng)的3段標(biāo)記掩碼 如圖1b a 原圖 a Original image b 枝條分段標(biāo)記掩碼 b Label of marking branch separately 圖1 標(biāo)記側(cè)枝和主枝 Fig 1 Mark lateral branch and main branch 1 2 改進(jìn)的Mask R CNN模型 Mask R CNN 19 是何凱明提出的一種實(shí)例分割網(wǎng)絡(luò) 可用于目標(biāo)檢測與分割 但該網(wǎng)絡(luò)參數(shù)過多 計(jì)算量大 因此本文提出了一種基于MobileNetv3 Large骨干網(wǎng)絡(luò)和 ECA注意力機(jī)制的改進(jìn)Mask R CNN模型 其網(wǎng)絡(luò)結(jié)構(gòu) 如圖2所示 注 C2 C5代表MobileNetv3 Large網(wǎng)絡(luò)特征圖 P2 P5代表經(jīng)特征金字塔網(wǎng)絡(luò)FPN特征融合后的特征圖 GAP代表全局平均池化 C代表通道數(shù) H代 表高度 W代表寬度 單位為像素 Note C2 C5 represent MobileNetv3 Large feature maps P2 P5 represent feature maps by Feature Pyramid Network feature fusion GAP represents global average pooling C represents channel H represents height W represents width and the unit is pixel 圖2 改進(jìn)Mask R CNN模型結(jié)構(gòu) Fig 2 Improved Mask R CNN structure 首先將數(shù)據(jù)增強(qiáng)后的數(shù)據(jù)集輸入到改進(jìn)的Mask R CNN網(wǎng)絡(luò)中 采用MobileNetv3 Large網(wǎng)絡(luò)對(duì)輸入的圖 像進(jìn)行特征提取 獲取特征圖C2 C3 C4 C5 然后將 C3和C4輸入到ECA注意力模塊中進(jìn)行特征加強(qiáng) 并與 特征圖C2 C5輸入到特征金字塔網(wǎng)絡(luò)FPN中對(duì)提取的 枝條特征進(jìn)行融合 區(qū)域建議網(wǎng)絡(luò)RPN Region Proposal Network 分別采用卷積核大小為1 1的卷積層對(duì)興趣區(qū) 域進(jìn)行分類和回歸 獲得枝條的初步候選區(qū)域 不同尺 寸的候選區(qū)域特征層通過興趣區(qū)域?qū)R調(diào)整到相同尺 寸 最后輸入到頭部網(wǎng)絡(luò)中 全連接層用于檢測側(cè)枝與 主枝的種類與邊界框回歸 全卷積網(wǎng)絡(luò)用于檢測側(cè)枝與 主枝的掩膜 農(nóng)業(yè)工程學(xué)報(bào) http www tcsae org 2022年 114 1 2 1 主干網(wǎng)絡(luò)MobileNetv3 Large 考慮枝葉修剪機(jī)器人在移動(dòng)端場景中工作 本文采 用MobileNetv3 Large替代原始Mask R CNN模型骨干網(wǎng) 絡(luò)ResNet50來降低模型復(fù)雜度 提升運(yùn)行速度 MobileNetv3 Large是谷歌提出的1種輕量神經(jīng)網(wǎng)絡(luò) 模型 基本單元是深度可分離卷積 通過兩個(gè)超參數(shù) 寬 度因子 和分辨率因子 來調(diào)節(jié)網(wǎng)絡(luò)速度和準(zhǔn)確度 20 21 該網(wǎng)絡(luò)使用1個(gè)3 3的標(biāo)準(zhǔn)卷積和多個(gè)bneck層進(jìn)行特 征提取 使用1 1的卷積代替全連接層 最后通過最大 池化層完成分類 MobileNetV3 Large結(jié)構(gòu)如表1所示 表1 MobileNetV3 Large結(jié)構(gòu) Table 1 MobileNetV3 Large structure 輸入 Input 操作 Operation exp size out SE NL s 2242 3 Conv2d 16 HS 2 1122 16 benck 3 3 16 16 RE 1 1122 16 benck 3 3 64 24 RE 2 562 24 benck 3 3 72 24 RE 1 562 24 benck 5 5 72 40 RE 2 282 40 benck 5 5 120 40 RE 1 282 40 benck 5 5 120 40 RE 1 282 40 benck 3 3 240 80 HS 2 142 80 benck 3 3 200 80 HS 1 142 80 benck 3 3 184 80 HS 1 142 80 benck 3 3 184 80 HS 1 142 80 benck 3 3 480 112 HS 1 142 112 benck 3 3 672 112 HS 1 142 112 benck 5 5 672 160 HS 2 72 160 benck 5 5 960 160 HS 1 72 160 benck 5 5 960 160 HS 1 72 160 Conv2d 1 1 960 HS 1 72 960 pool 7 7 1 12 960 Conv2d 1 1 NBN 1280 HS 1 12 1280 Conv2d 1 1 NBN K 1 注 Conv2d為普通卷積層 pool為池化層 benck為瓶頸層 exp size代表 膨脹系數(shù) out代表輸出特征圖的通道數(shù) SE表示是否引入注意力模塊 NL表示激活函數(shù)的類型 HS代表h swish激活函數(shù) RE代表RELU激活 函數(shù) NBN為無批標(biāo)準(zhǔn)化 s表示步長 K表示目標(biāo)類別數(shù)目 Note Conv2d is ordinary convolution layer pool is pooling layer benck is bottleneck layer exp size represents expansion factor out represents channel of output feature maps SE represents whether there is a Squeeze And Excite in that block NL represents the type of nonlinearity HS represents h swish RE represents ReLU NBN represents no batch normalization s represents stride K represents number of target category bneck層繼承了MobileNet V1中的深度可分離卷積 與MobileNet V2 22 中的具有線性瓶頸的逆殘差結(jié)構(gòu) 部 分bneck塊引入SE Squeeze And Excite 23 注意力機(jī)制 為了減少運(yùn)算量和提升運(yùn)行速度 使用h swish代替激活 函數(shù)swish 使用h sigmoid 代替激活函數(shù)sigmoid h sigmoid h swish的計(jì)算公式如下 ReLU6 min max 0 6 ReLU6 3 h swish X 6 ReLU6 3 h sigmoid 6 X XX XX 1 式中X為輸入張量 ReLU6為激活函數(shù)ReLU6 1 2 2 ECA注意力機(jī)制 為了保證模型復(fù)雜度降低的同時(shí)仍具有較高的精 度 引入ECA注意力機(jī)制對(duì)MobileNetv3 Large提取的 特征圖C3 C4中枝條特征進(jìn)行加強(qiáng) ECA是Wang等 24 在2020年提出的一種輕量級(jí)通道注 意力機(jī)制 能夠有效捕捉局部跨通道交互信息 ECA原理 如圖2中ECA具體結(jié)構(gòu)部分 該機(jī)制不進(jìn)行降維操作 直接進(jìn)行全局平均池化 然后通過自適應(yīng)選擇的尺寸為k 的快速一維卷積來進(jìn)行局部跨通道連接 之后使用sigmoid 函數(shù)獲得每個(gè)通道權(quán)重 將原始輸入特征與通道權(quán)重結(jié)合 獲得具有通道注意力的特征 其中k的取值表示為 2odd odd log C bk t 2 式中 oddt 為離t最近的奇數(shù) C為當(dāng)前總通道數(shù) 和b 為固定值 通常分別取值為2和1 2 同一枝條掩膜合并 將圖片輸入到改進(jìn)的Mask R CNN模型中進(jìn)行預(yù)測 部分圖片的預(yù)測結(jié)果中出現(xiàn)一根枝條被分割成多段掩膜 的情況 這會(huì)對(duì)后續(xù)枝條修剪點(diǎn)的識(shí)別產(chǎn)生干擾 因此 需要將屬于同一枝條的多個(gè)掩膜合并為一個(gè)掩膜 2 1 同一枝條相鄰掩膜約束分析 為了將屬于同一枝條的多個(gè)掩膜合并為一個(gè)掩膜 本文選取測試集中被分割成多段掩膜的單根枝條進(jìn)行分 析 確定同一枝條相鄰掩膜約束條件 1 同一枝條相鄰掩膜重疊約束條件 同一枝條相鄰的兩個(gè)掩膜間存在重疊區(qū)域 因此 對(duì)于任意兩個(gè)掩膜A與B 若屬于同一枝條相鄰掩膜 需要滿足約束條件 存在重疊區(qū)域 該條件等價(jià)為 255 25 5Ax yB xx y y 使 3 式中x y為像素點(diǎn)坐標(biāo) A x y 為掩膜A二值圖象在 x y 處像素值 B x y 為掩膜B二值圖象在 x y 處像素值 2 同一枝條相鄰掩膜極點(diǎn)約束條件 將被分割成多段的側(cè)枝和主枝上的掩膜簡化為圖3 側(cè)枝和主枝上相鄰掩膜極點(diǎn)約束條件有所不同 需要分 開討論 注 MA1與MB1為一側(cè)枝上的兩個(gè)相鄰掩膜 L1 R1分別為MA1的左右 極點(diǎn) L2 R2分別為MB1的左右極點(diǎn) V1為MA1與MB1重疊區(qū)域 MA2與MB2為一主枝上的兩個(gè)相鄰掩膜 T1 B1分別為MA2的上下極點(diǎn) T2 B2分別為MB2的上下極點(diǎn) V2為MA2與MB2重疊區(qū)域 Note MA1 and MB1 are two adjacent masks on a lateral branch L1 and R1 are left and right poles of MA1 respectively L2 and R2 are left and right poles of MB1 respectively and V1 is an overlapping area of MA1 and MB1 MA2 and MB2 are two adjacent masks on a main branch T1 and B1 are the upper and lower poles of MA2 respectively T2 and B2 are upper and lower poles of MB2 respectively and V2 is the overlapping area of MA2 and MB2 圖3 同一枝條相鄰掩膜簡化 Fig 3 Simplify the same branch s adjacent masks 第23期 梁喜鳳等 基于改進(jìn)Mask R CNN的番茄側(cè)枝修剪點(diǎn)識(shí)別方法 115 對(duì)于側(cè)枝 由圖3觀察確定了同一枝條相鄰掩膜滿 足極點(diǎn)約束條件 K1 2 4 式中K1為L1 R1 L2 R2在重疊區(qū)域V1上的個(gè)數(shù) 對(duì)于主枝 同理確定了同一枝條相鄰掩膜滿足極點(diǎn) 約束條件 K2 2 5 式中K2為T1 B1 T2 B2在重疊區(qū)域V2上的個(gè)數(shù) 2 2 同一枝條掩膜合并 基于同一枝條相鄰掩膜約束條件 本文提出了一種 同一枝條掩膜合并算法 其合并過程如圖4所示 具體 步驟如下 圖4 同一枝條掩膜合并過程 Fig 4 Merging process of masks that belong to same branch 1 將圖片輸入模型中 獲取枝條邊界框 掩膜二值 圖相關(guān)信息 計(jì)算每個(gè)掩膜邊框?qū)捀弑萵 然后對(duì)掩膜進(jìn) 行分類 通過對(duì)側(cè)枝與主枝掩膜邊界框進(jìn)行統(tǒng)計(jì) 結(jié)果 如圖5所示 所以確定分類依據(jù)為 當(dāng)n 0 6 掩膜為 偏水平掩膜 側(cè)枝掩膜 當(dāng)n 0 6 掩膜為偏豎直掩膜 主枝掩膜 寬高比n表示為 1 2 1 2 x xn y y 6 式中x1 y1為邊界框左上角頂點(diǎn)坐標(biāo) x2 y2為邊界框右 下角頂點(diǎn)坐標(biāo) 2 合并被分割多次的側(cè)枝掩膜 將側(cè)枝掩膜兩兩組 合且不重復(fù) 根據(jù)式 3 初步篩選出符合重疊約束條件 的組合及獲取重疊區(qū)域 利用Opencv 25 查找初步篩選出 的組合內(nèi)每張掩膜圖的輪廓并獲取左右極點(diǎn)坐標(biāo) 計(jì)算4 個(gè)極點(diǎn)在重疊區(qū)域內(nèi)的個(gè)數(shù) 根據(jù)式 4 篩選出符合極 點(diǎn)約束的掩膜組合并進(jìn)行掩膜合并 掩膜合并表示為 1 merge maskm j j 7 式中merge為合并后掩膜 m為合并前同一枝條上掩膜 個(gè)數(shù) maskj為合并前同一枝條上第j個(gè)掩膜 3 為合并后的側(cè)枝掩膜生成新邊界框 設(shè)合并前同 一枝條上的第g g 1 2 m 個(gè)掩膜邊界框的左上角頂點(diǎn) 坐標(biāo) 右下角頂點(diǎn)坐標(biāo)分別為xg1 yg1 xg2 yg2 則新邊 界框生成方式表示為 a 側(cè)枝 a Lateral branch b 主枝 b Main branch 圖5 主枝與側(cè)枝寬高比 Fig 5 Aspect ratio of lateral branch and main branch 農(nóng)業(yè)工程學(xué)報(bào) http www tcsae org 2022年 116 new1 11 21 1 new1 11 21 1 new2 12 22 2 new2 12 22 2 min min max max m m m m x x x x y y y y x x x x y y y y 8 式中xnew1 ynew1 xnew2 ynew2依次為新邊界框的左上角頂 點(diǎn)橫縱坐標(biāo) 右下角頂點(diǎn)橫縱坐標(biāo) 4 合并被分割多次的主枝掩膜和生成新邊界框 主 枝掩膜合并實(shí)現(xiàn)方式與步驟2 類似 但是計(jì)算對(duì)象為初 步篩選出的組合內(nèi)掩膜上下極點(diǎn)在重疊區(qū)域中的個(gè)數(shù) 然后對(duì)滿足式 5 的掩膜組合并進(jìn)行掩膜合并 主枝新 邊界框生成式同上式 8 3 枝條修剪點(diǎn)識(shí)別 為確定修剪點(diǎn)的坐標(biāo)位置 本文提出了一種基于主 枝輔助的修剪點(diǎn)識(shí)別方法 首先根據(jù)側(cè)枝修剪點(diǎn)靠近主 枝的特點(diǎn)確定修剪點(diǎn)在側(cè)枝的左端還是右端 然后在修 剪點(diǎn)所在端進(jìn)行修剪點(diǎn)坐標(biāo)的計(jì)算 側(cè)枝有左端點(diǎn)和右端點(diǎn) 修剪側(cè)枝哪端取決于哪個(gè) 端點(diǎn)在主枝附近范圍中 將模型枝條檢測結(jié)果簡化為 圖 6 對(duì)于Mask1 右端點(diǎn)D1在主枝附近范圍F內(nèi) 確 定修剪點(diǎn)J1在Mask1的右端部分 對(duì)于Mask2 左端點(diǎn) E2在范圍F內(nèi) 確定修剪點(diǎn)J2在Mask2的左端部分 為了確保識(shí)別出更多修剪點(diǎn) 結(jié)合側(cè)枝掩膜分割結(jié)果 主枝附近范圍F為 F X1 70 X2 70 9 式中X1 X2分別為主枝掩膜的邊界框Box3左上角頂點(diǎn) 右下角頂點(diǎn)橫坐標(biāo) 注 Mask1 Mask2為側(cè)枝的分割掩膜 Edge1 Edge2分別為對(duì)應(yīng)邊緣 Box1 Box2分別為對(duì)應(yīng)邊界框 J1 J2分別為對(duì)應(yīng)修剪點(diǎn) D1 E1為Mask1 的左右端點(diǎn) D2 E2為Mask2的左右端點(diǎn) S1 S2為邊緣Edge1上的2個(gè) 邊緣點(diǎn) 位于D1左側(cè)且水平方向上與D1間距15像素 S3 S4為邊緣Edge2 上的2個(gè)邊緣點(diǎn) 位于E2右側(cè)且水平方向與E2間距距離15像素 Note Mask1 and Mask2 are segmentation masks of lateral branches Edge1 and Edge2 are corresponding edges Box1 and Box2 are corresponding bounding boxes and J1 and J2 are corresponding pruning points D1 and E1 are left and right end points of Mask1 D2 and E2 are left and right end points of Mask2 S1 and S2 are two edge points on Edge1 which are located on the left side of D1 and are 15 pixels apart from D1 in the horizontal direction S3 and S4 are two edge points on Edge2 which are located on the right side of E2 and are 15 pixels apart from E2 in the horizontal direction 圖6 模型枝條檢測結(jié)果簡化 Fig 6 Simplify model detection result of branch 修剪點(diǎn)具體位置的確定 若修剪點(diǎn)在側(cè)枝掩膜右端 如圖6中點(diǎn)J1 修剪點(diǎn)坐標(biāo)計(jì)算公式為 1 20 1 20 2 2 s ss t tt 10 式中s0 t0為修剪點(diǎn)J1的坐標(biāo) s1 t1為邊緣點(diǎn)S1坐標(biāo) s2 t2為邊緣點(diǎn)S2坐標(biāo) 若修剪點(diǎn)在側(cè)枝掩膜左端 如圖6中點(diǎn)J2 修剪點(diǎn) 坐標(biāo)計(jì)算公式為 4 53 4 53 2 2 s ss t tt 11 式中s3 t3為修剪點(diǎn)J2的坐標(biāo) s4 t4為邊緣點(diǎn)S3坐標(biāo) s5 t5為邊緣點(diǎn)S4坐標(biāo) 根據(jù)上面原理 基于主枝輔助的修剪點(diǎn)識(shí)別過程如 圖7所示 具體步驟如下 圖7 修剪點(diǎn)識(shí)別過程 Fig 7 Pruning point recognition process 首先 按照式 9 計(jì)算主枝附近修剪點(diǎn)橫坐標(biāo)可能 存在的范圍 然后 對(duì)每個(gè)側(cè)枝掩膜二值圖進(jìn)行邊緣提 取 邊緣為黑色 按列獲取側(cè)枝輪廓邊緣點(diǎn)坐標(biāo) 第1 個(gè)邊緣點(diǎn)為側(cè)枝左端端點(diǎn) 最后1個(gè)邊緣點(diǎn)為側(cè)枝右端 端點(diǎn) 其中邊緣點(diǎn)坐標(biāo)滿足式 12 f x y 0 12 式中f x y 表示掩膜邊緣圖中坐標(biāo)為 x y 像素點(diǎn)的像素值 然后 通過判斷左端端點(diǎn)和右端端點(diǎn)的橫坐標(biāo)是否 在范圍F中 確定修剪點(diǎn)位于枝條哪端 最后 若修剪 點(diǎn)在側(cè)枝右端 按照式 10 計(jì)算修剪點(diǎn)的坐標(biāo) 若修 剪點(diǎn)在側(cè)枝左端 按照式 11 計(jì)算修剪點(diǎn)的坐標(biāo) 第23期 梁喜鳳等 基于改進(jìn)Mask R CNN的番茄側(cè)枝修剪點(diǎn)識(shí)別方法 117 4 結(jié)果與分析 4 1 模型訓(xùn)練 本文試驗(yàn)環(huán)境為 Intel i7 10875H的CPU NVIDIA GeForce RTX 2060的GPU 運(yùn)行內(nèi)存為16GB 軟件環(huán)境 為Windows10 深度學(xué)習(xí)框架Tensorflow1 16 模型訓(xùn)練 方式為遷移學(xué)習(xí) 訓(xùn)練初始學(xué)習(xí)率為0 001 權(quán)值衰減系 數(shù)為0 000 1 動(dòng)量因子為0 9 共訓(xùn)練200個(gè)epoch 4 2 模型對(duì)主枝與側(cè)枝識(shí)別評(píng)估 采用以ResNet50為主干的原始Mask R CNN模型 以MobileNetv3 Large為主干的Mask R CNN 模型和基 于MobileNetv3 Large 并添加ECA注意力機(jī)制的改進(jìn) Mask R CNN模型進(jìn)行對(duì)比試驗(yàn) 評(píng)價(jià)模型對(duì)主枝與側(cè)枝 識(shí)別效果的指標(biāo)主要包括召回率 R 和精確率 P 各評(píng)價(jià)指標(biāo)計(jì)算為 TP 100 TP FNR 13 TP 100 TP FPP 14 式中TP表示正樣本預(yù)測為正的個(gè)數(shù) FP表示負(fù)樣本預(yù) 測為正的個(gè)數(shù) FN表示正樣本預(yù)測為負(fù)的個(gè)數(shù) TN表 示負(fù)樣本預(yù)測為負(fù)的個(gè)數(shù) 模型運(yùn)行速度用單張圖片平均分割時(shí)間表示 最終 得到不同模型下的側(cè)枝和主枝檢測分割效果和對(duì)比結(jié)果 如表2和圖8所示 表2 不同模型檢測對(duì)比結(jié)果 Table 2 Detection comparison result of different models 模型 Models 主干網(wǎng)絡(luò) Backbone network 注意力機(jī)制 Attention mechanism 主干網(wǎng)絡(luò)參數(shù)量 Backbone network Parameters M 召回率 Recall 精確率 Precision 平均分割時(shí)間 Average segmentation time s Mask R CNN ResNet50 25 6 87 9 93 3 0 357 Mask R CNN MobileNetv3 Large 5 4 85 8 85 6 0 304 改進(jìn)Mask R CNN Improved Mask R CNN MobileNetv3 Large ECA 5 4 91 2 88 6 0 319 測試1 Test1 測試2 Test2 測試3 Test3 測試4 Test4 a 原圖 a Original image b Mask R CNN模型 b Mask R CNN model c Mask R CNN 模型 c Mask R CNN model d 改進(jìn)Mask R CNN模型 d Improved Mask R CNN model 圖8 不同模型檢測分割 Fig 8 Detection and segmentation in different models 由表2和圖8可知 原始Mask R CNN的召回率 精確率和平均分割時(shí)間分別為87 9 93 3 和0 357 s 主干網(wǎng)絡(luò)MobileNetv3 Large 參數(shù)量僅為ResNet50 的 21 1 以MobileNetv3 Large為主干的Mask R CNN 模 型相比于以ResNet50為主干的原始Mask R CNN模型召 回率 精確率和平均分割時(shí)間分別下降2 1 7 7個(gè)百分 點(diǎn)和0 053 s 說明僅將原始Mask R CNN模型主干 ResNet50替換為MobileNetv3 Large可以降低模型參數(shù)和 提升模型的運(yùn)行速度 但是模型召回率和精確率均有下 降會(huì)影響枝條檢測 在改進(jìn)主干網(wǎng)絡(luò)的基礎(chǔ)上進(jìn)一步添 農(nóng)業(yè)工程學(xué)報(bào) http www tcsae org 2022年 118 加ECA注意力機(jī)制最終得到改進(jìn)Mask R CNN模型 改 進(jìn)Mask R CNN模型相比于Mask R CNN 模型召回率 精確率和平均分割時(shí)間分別增加5 4 3 0 個(gè)百分點(diǎn)和 0 015 s 說明ECA注意力機(jī)制的添加可以改善Mask R CNN 模型僅改進(jìn)主干網(wǎng)絡(luò)造成的召回率和精確率下 降的問題 改進(jìn)Mask R CNN的召回率 精確率和平均 分割時(shí)間分別為91 2 88 6 和0 319 s 與原始Mask R CNN相比 改進(jìn)Mask R CNN模型平均分割時(shí)間降低 了0 038 s 召回率提高3 3個(gè)百分點(diǎn) 召回率的提升使改 進(jìn)Mask R CNN模型較原始Mask R CNN檢測出更多的 側(cè)枝 降低枝條漏識(shí)別情況的發(fā)生 平均分割時(shí)間的降 低使模型能更快檢測枝條 總體上 與原始Mask R CNN 相比 改進(jìn)Mask R CNN在降低模型參數(shù)和速度提升的 同時(shí)對(duì)枝條仍具備較好的檢測性能 能夠更快 更多檢 測到枝條 4 3 合并效果評(píng)估 為評(píng)估單根枝條是否合并成功 即單根枝條分割掩 膜數(shù)量是否為1 本文隨機(jī)選取被模型分割成多段掩膜的 側(cè)枝和主枝 采用同一枝條掩膜合并算法合并掩膜 合 并結(jié)果和效果如表3和圖9 表3 同一枝條掩膜合并結(jié)果 Table 3 Result of merging masks that belong to the same branch 枝條種類 Branch category 枝條數(shù)量 Branch number N1 N2 N3 側(cè)枝Lateral branch 32 67 37 26 主枝Main branch 26 52 28 24 側(cè)枝 主枝 Lateral branch and main branch 58 119 65 50 注 N1 N2 N3分別表示合并前枝條掩膜 合并后枝條掩膜和合并后僅有1 個(gè)掩膜的枝條總數(shù) Note N 1 N2 N3 are total number of branch masks before merging branch masks after merging and branches with only one mask after merging 圖9 掩膜合并前后對(duì)比 Fig 9 Masks before and after the merger comparison 由表3可知 利用掩膜合并算法對(duì)被分割成多段掩 膜的側(cè)枝和主枝進(jìn)行合并 側(cè)枝 主枝掩膜合并成功率 分別為81 3 和92 3 側(cè)枝合并成功率比主枝合并成功 率低主要是因?yàn)閭?cè)枝的形態(tài)更具多樣性 其曲狀特征更明 顯 側(cè)枝與主枝掩膜平均合并成功率為86 2 由圖9 可知 采用同一枝條掩膜合并算法合并效果較好 可有 效避免后續(xù)修剪點(diǎn)識(shí)別時(shí)單根枝條因被分割成多段掩膜 而造成的存在多個(gè)修剪點(diǎn)的情況 4 4 修剪點(diǎn)識(shí)別評(píng)估 機(jī)器人末端執(zhí)行器修剪作業(yè)方式如圖10a 考慮到機(jī)器 人末端執(zhí)行器的尺寸和容錯(cuò)性 確定了修剪點(diǎn)是否識(shí)別準(zhǔn) 確的評(píng)價(jià)標(biāo)準(zhǔn) 1 修剪點(diǎn)在側(cè)枝上 2 修剪點(diǎn)水平方向 上距離主枝95像素以內(nèi) 滿足以上2個(gè)標(biāo)準(zhǔn)的修剪點(diǎn)視為 識(shí)別準(zhǔn)確 以圖10b為例 Z3識(shí)別準(zhǔn)確 Z1 Z2識(shí)別錯(cuò)誤 注 Z1 Z2和Z3為側(cè)枝修剪點(diǎn) Note Z1 Z2 and Z3 are lateral branch pruning points 圖10 修剪作業(yè)與評(píng)估 Fig 10 Operation and evaluation of pruning 第23期 梁喜鳳等 基于改進(jìn)Mask R CNN的番茄側(cè)枝修剪點(diǎn)識(shí)別方法 119 隨機(jī)選取測試集中圖片進(jìn)行修剪點(diǎn)識(shí)別 結(jié)果如表4 和圖11 表4 側(cè)枝修剪點(diǎn)識(shí)別結(jié)果 Table 4 Result of lateral branch pruning point recognition 環(huán)境 Environment 實(shí)際數(shù)目 Actual number 準(zhǔn)確識(shí)別數(shù)目 Accurate identification number 晴天Sunny day 126 110 陰天Cloudy 90 69 晴天 陰天 Sunny and cloudy days 216 179 由表4和圖11可知 晴天和陰天條件下修剪點(diǎn)識(shí)別 成功率分別為87 3 和76 7 修剪點(diǎn)未能成功識(shí)別主要 原因?yàn)?1 部分側(cè)枝分割掩膜與側(cè)枝發(fā)生偏移 導(dǎo)致 識(shí)別出的修剪點(diǎn)不在側(cè)枝上 見圖11b中樣例1與樣例4 2 背景中的其余目標(biāo)誤識(shí)別為側(cè)枝 導(dǎo)致修剪點(diǎn)在欄線 等其余目標(biāo)中 見圖11b中樣例2 3 側(cè)枝遮擋過于嚴(yán) 重 導(dǎo)致側(cè)枝被誤判不在主枝附近而無法識(shí)別 見圖11b 中樣例3 4 被分割成多段掩膜的側(cè)枝掩膜合并失敗 導(dǎo)致單根側(cè)枝有多個(gè)修剪點(diǎn) 見圖11b中樣例2 針對(duì)修 剪點(diǎn)識(shí)別失敗的情況在未來可進(jìn)一步研究 陰天條件下修剪點(diǎn)平均識(shí)別成功率較晴天低 這是 因?yàn)殛幪鞐l件下受光照強(qiáng)度影響枝條特征不明顯 針對(duì) 光照較弱時(shí)識(shí)別成功率下降的問題未來可從光源選擇 算法改進(jìn)等角度進(jìn)一步研究 晴天和陰天條件下修剪點(diǎn) 平均識(shí)別成功率為82 9 可為番茄植株的側(cè)枝修剪自動(dòng) 化作業(yè)提供技術(shù)依據(jù) 成功樣例 Successful samples 失敗樣例 False samples a 樣例1 陰天 a Sample 1 Cloudy day b 樣例2 陰天 b Sample 2 Cloudy day c 樣例3 晴天 c Sample 3 Sunny day d 樣例4 晴天 d Sample 4 Sunny day 注 紅點(diǎn)為修剪點(diǎn) 紅色框代表識(shí)別失敗 Note Red points represent pruning points Red boxes represent false recognition 圖11 修剪點(diǎn)識(shí)別 Fig 11 Pruning point recognition 5 結(jié) 論 本文基于MobileNetv3 Large和ECA注意力機(jī)制提 出了一種用于枝條檢測分割的改進(jìn)Mask R CNN的模型 以保證模型降低復(fù)雜度的同時(shí)具有較好的檢測性能 采 用同一枝條掩膜合并算法以解決部分單根枝條被分割成 多段掩膜的問題 最后提出一種基于主枝輔助的修剪點(diǎn) 識(shí)別方法確定修剪點(diǎn)坐標(biāo) 1 原始Mask R CNN的召回率 精確率和平均分割 時(shí)間分別為87 9 93 3 和0 357 s 改進(jìn)Mask R CNN 的召回率 精確率和平均分割時(shí)間分別為91 2 88 6 和0 319 s 表明改進(jìn)Mask R CNN在速度提升的同時(shí)對(duì)枝 條仍具備較好的檢測性能 實(shí)現(xiàn)更快 更多的檢測枝條 2 采用同一枝條掩膜合并算法合并被分割多次的主 枝與側(cè)枝 由于側(cè)枝形態(tài)曲狀特征更明顯 主枝合并成 功率高于側(cè)枝 側(cè)枝與主枝平均合并成功率為86 2 表 明該合并算法可有效解決部分枝條被多次分割的情況 3 采用基于主枝輔助的修剪點(diǎn)識(shí)別方法 先確定修 剪點(diǎn)所在端 然后確定靠近修剪端端點(diǎn)的中心點(diǎn)作為側(cè) 枝的修剪點(diǎn) 對(duì)晴天和陰天條件下的圖片進(jìn)行修剪點(diǎn)識(shí) 別測試 陰天條件下修剪點(diǎn)平均識(shí)別成功率較晴天低 修剪點(diǎn)平均識(shí)別準(zhǔn)確率為82 9 可為番茄枝葉修剪機(jī)器 人研發(fā)提供