基于改進(jìn)YOLOv7的黃瓜葉片病蟲(chóng)害檢測(cè)與識(shí)別.pdf

基于改進(jìn)YOLOv7的黃瓜葉片病蟲(chóng)害檢測(cè)與識(shí)別 劉詩(shī)怡 胡 濱 趙 春 南京農(nóng)業(yè)大學(xué)人工智能學(xué)院 南京 210031 摘 要 黃瓜葉片病蟲(chóng)害的檢測(cè)與識(shí)別是科學(xué)防治病害的有效手段 為了提高對(duì)黃瓜葉片病斑細(xì)小特征的精準(zhǔn)定位能力 以及提高對(duì)早疫病葉片的檢測(cè)性能 提出一種DCNSE YOLOv7的深度學(xué)習(xí)算法 首先 將主干特征提取網(wǎng)絡(luò)中對(duì)最后 一個(gè)特征層的卷積2D convolution Conv2D 改為可變形卷積2D Deformable convolution DCNv2 提高模型對(duì)病斑 細(xì)小特征的提取能力 其次 對(duì)主干特征提取網(wǎng)絡(luò)輸出3個(gè)特征層結(jié)果添加Squeeze and Excitation networks SENet 注意力機(jī)制模塊構(gòu)建網(wǎng)絡(luò)模型 加強(qiáng)模型對(duì)發(fā)病早期相似病害特征的有效提取能力 同時(shí) 通過(guò)K means 聚類算法對(duì) 錨框重新聚類 避免算法在訓(xùn)練過(guò)程中盲目學(xué)習(xí)目標(biāo)的尺寸和位置 最后 將原始YOLOv7的CIOU損失函數(shù) 更替 為Focal EIOU損失函數(shù) 試驗(yàn)結(jié)果表明 DCNSE YOLOv7算法能夠有效對(duì)黃瓜葉片病蟲(chóng)害進(jìn)行檢測(cè) 其平均精度均值 為94 25 比YOLOv5l YOLOv7 Faster RCNN SSD和YOLOv7 tiny模型分別提高了2 72 2 87 0 28 12 04和 7 02個(gè)百分點(diǎn) 改進(jìn)模型的精確度為96 02 檢測(cè)速度為52 04幀 s 所提方法為黃瓜葉片病蟲(chóng)害的精準(zhǔn)檢測(cè)提供了一 種有效的技術(shù)支持 關(guān)鍵詞 病蟲(chóng)害 圖像識(shí)別 黃瓜葉片 YOLOv7 可變形卷積 注意力機(jī)制 doi 10 11975 j issn 1002 6819 202305042 中圖分類號(hào) S24 文獻(xiàn)標(biāo)志碼 A 文章編號(hào) 1002 6819 2023 15 0164 09 劉詩(shī)怡 胡濱 趙春 基于改進(jìn)YOLOv7的黃瓜葉片病蟲(chóng)害檢測(cè)與識(shí)別 J 農(nóng)業(yè)工程學(xué)報(bào) 2023 39 15 164 172 doi 10 11975 j issn 1002 6819 202305042 http www tcsae org LIU Shiyi HU Bin ZHAO Chun Detection and identification of cucumber leaf diseases based improved YOLOv7 J Transactions of the Chinese Society of Agricultural Engineering Transactions of the CSAE 2023 39 15 164 172 in Chinese with English abstract doi 10 11975 j issn 1002 6819 202305042 http www tcsae org 0 引 言 黃瓜作為世界上最重要的蔬菜作物之一 在中國(guó)已 經(jīng)有2 000多年的栽培歷史 1 2 該類作物在溫室大棚可 以四季栽培 成本較低 且產(chǎn)量較高 2020年中國(guó)黃瓜 種植面積高達(dá)127萬(wàn)hm2 黃瓜出口數(shù)量為45 437 3 t 3 為菜農(nóng)帶來(lái)了極大經(jīng)濟(jì)效益的同時(shí) 也對(duì)黃瓜病害防治 提出了新要求 4 在中國(guó) 黃瓜葉片靶斑病 5 霜霉病 6 白粉病 7 等在全國(guó)各地栽培的黃瓜葉片上普遍發(fā)生 在 發(fā)病早期若防治不及時(shí) 幾天內(nèi)病害即可傳遍棚室 造 成黃瓜大面積減產(chǎn) 8 因此在黃瓜種植中 要保證黃瓜 產(chǎn)量與質(zhì)量 就必須先對(duì)黃瓜葉片常見(jiàn)病害進(jìn)行精準(zhǔn)識(shí) 別與檢測(cè) 對(duì)葉片病蟲(chóng)害檢測(cè)的傳統(tǒng)方法是采用目測(cè)觀察法 即通過(guò)肉眼觀察葉片的形態(tài) 紋理 顏色等特征 9 這 種方法雖然操作簡(jiǎn)單 但在檢測(cè)過(guò)程中往往因出現(xiàn)經(jīng)驗(yàn) 和知識(shí)差異等主觀因素對(duì)病害識(shí)別造成干擾 為種植戶 帶來(lái)不可挽回的損失 10 難以滿足對(duì)黃瓜葉片病蟲(chóng)害的 精準(zhǔn)檢測(cè) 為了提高識(shí)別精度 早期利用基于圖像處理 的檢測(cè) 11 方法 彭占武 12 利用模糊識(shí)別 先對(duì)黃瓜病 害進(jìn)行圖像預(yù)處理 再?gòu)幕叶冉y(tǒng)計(jì)量 顏色 幾何形狀 三方面進(jìn)行特征提取 其不足之處在于處理的數(shù)據(jù)量較 小 且原始特征維數(shù)高 算法的計(jì)算復(fù)雜度較高 田凱 等 13 對(duì)茄子葉片病害圖像進(jìn)行邊緣檢測(cè) 提取病斑特征 并優(yōu)化 構(gòu)建Fisher判別函數(shù)對(duì)茄子葉部病害識(shí)別 但 仍使用傳統(tǒng)的分割方法將病斑提出 使用貝葉斯判定方 法對(duì)病害類別進(jìn)行識(shí)別 識(shí)別效率較低 上述方法工作 量大 且在實(shí)際應(yīng)用中難以推廣 近10年來(lái) 許多學(xué)者采用神經(jīng)網(wǎng)絡(luò)來(lái)對(duì)農(nóng)作物病害 進(jìn)行識(shí)別 14 雖然在文獻(xiàn)檢索中對(duì)黃瓜葉片病蟲(chóng)害的研 究不多 但在其他領(lǐng)域成果頗豐 MOHANTY等 15 使用 GoogLeNet模型對(duì)標(biāo)注后的圖片進(jìn)行訓(xùn)練 該模型的缺 點(diǎn)是在不同環(huán)境下數(shù)據(jù)集檢測(cè)精確度差距大 模型泛化 能力不強(qiáng) 黃麗明等 16 提出改進(jìn)YOLOv4模型自動(dòng)識(shí)別 無(wú)人機(jī)遙感影像上的松材線蟲(chóng)病異常變色木 該模型將 深度可分離卷積和倒殘差結(jié)構(gòu)引入網(wǎng)絡(luò) 然而對(duì)相似地 物與異常變色木的細(xì)小特征提取結(jié)果不顯著 不利于病 害特征識(shí)別 RANGARAJAN等 17 使用改進(jìn)的AlexNet 和VGG16模型對(duì)番茄病害進(jìn)行訓(xùn)練 但其缺陷在于檢 測(cè)精度不佳 ZHANG等 18 為了提高網(wǎng)絡(luò)特征提取能力 提出一種多通道自動(dòng)定向遞歸注意網(wǎng)絡(luò)豐富番茄葉片病 害特征 并引入漸進(jìn)非局部均值算法降低特征識(shí)別難度 不過(guò)信道數(shù)的選擇會(huì)對(duì)識(shí)別精確度產(chǎn)生影響 孫俊等 19 提出改進(jìn)Mobile Net V2模型識(shí)別復(fù)雜背景下農(nóng)作物病 害 在原始模型上嵌入輕量型坐標(biāo)注意力機(jī)制 采用分 收稿日期 2023 05 08 修訂日期 2023 07 14 基金項(xiàng)目 國(guó)家自然科學(xué)基金項(xiàng)目 32270208 江蘇省大學(xué)生創(chuàng)新訓(xùn)練項(xiàng) 目 202210307157Y 作者簡(jiǎn)介 劉詩(shī)怡 研究方向?yàn)橛?jì)算機(jī)視覺(jué) 圖像處理 Email 2022819035 通信作者 胡濱 博士 副教授 研究方向?yàn)橹腔坜r(nóng)業(yè) Email hubin 第 39 卷 第 15 期農(nóng) 業(yè) 工 程 學(xué) 報(bào)Vol 39 No 15 164 2023 年 8 月Transactions of the Chinese Society of Agricultural Engineering Aug 2023 組卷積減少模型參數(shù) 需要注意的是模型對(duì)不同病害相 似特征之間的細(xì)小區(qū)別未能有效識(shí)別 上述檢測(cè)方法雖 取得一定的成效 但在實(shí)際應(yīng)用中對(duì)早疫病 尺度變形 葉片的檢測(cè)精度不高 對(duì)相似病害細(xì)小特征的識(shí)別不夠 精確 無(wú)法滿足農(nóng)業(yè)智能化的生產(chǎn)需要 在黃瓜實(shí)際種植場(chǎng)景中 自動(dòng)化檢測(cè)葉片病害的圖 像中往往包含不同種類的葉片 且葉片之間會(huì)出現(xiàn)部分 遮擋情況 基于此 相較于圖像分類算法 20 目標(biāo)檢測(cè) 算法更適用于檢測(cè)圖像中的多個(gè)目標(biāo) 并確定目標(biāo)的大 小和位置 21 故在前人研究基礎(chǔ)上 特別是從黃麗明 等 16 使用YOLOv4模型對(duì)松材線蟲(chóng)病異常變色木識(shí)別受 到啟發(fā) 采用目標(biāo)檢測(cè)算法實(shí)現(xiàn)對(duì)黃瓜葉片病害的檢測(cè) 由于一階段目標(biāo)檢測(cè)算法不需要大量的數(shù)據(jù)訓(xùn)練 且 YOLO 22 算法將遷移學(xué)習(xí)的概念引入其網(wǎng)絡(luò) 不僅對(duì)數(shù) 據(jù)集數(shù)量的要求降低 還可以提高模型的泛化能力 通 過(guò)對(duì)目前YOLO系列算法比較 YOLOv7 23 算法的檢測(cè) 速度與檢測(cè)精度領(lǐng)先于當(dāng)前主流目標(biāo)檢測(cè)算法 故選用 YOLOv7模型作為研究對(duì)象 并在此模型基礎(chǔ)上提出一 種DCNSE YOLOv7深度學(xué)習(xí)算法 該算法首先在主干 特征提取網(wǎng)絡(luò)中引入可變形卷積 24 DCNv2 自適應(yīng)不 同葉片幾何形變化帶來(lái)的感受野尺寸變化 提升網(wǎng)絡(luò)模 型對(duì)病斑細(xì)小特征的精準(zhǔn)定位能力 其次在主干特征提 取網(wǎng)絡(luò)的3個(gè)輸出結(jié)果處添加通道注意力機(jī)制SENet 25 模塊 加強(qiáng)模型對(duì)發(fā)病早期 多病害葉片相似特征的有 效提取能力 同時(shí) 通過(guò)K means 26 聚類算法優(yōu)化錨 框信息 使先驗(yàn)框盡可能接近真實(shí)框 提升模型檢測(cè)性 能 最后 將Focal EIOU loss 27 函數(shù)替代原始損失函數(shù) 聚焦于高質(zhì)量的預(yù)測(cè)框 并與YOLOv7 YOLOv7 Tiny Faster RCNN YOLOv5l SSD等網(wǎng)絡(luò)模型進(jìn)行對(duì)比 以 此評(píng)估模型的性能與效果 1 材料與方法 1 1 黃瓜葉片病蟲(chóng)害圖像采集 黃瓜葉片常見(jiàn)的病蟲(chóng)害有靶斑病 霜霉病 白粉病 等 利用相機(jī)在不同天氣 不同時(shí)刻條件下 對(duì)患有靶 斑病 霜霉病 白粉病以及無(wú)病蟲(chóng)害的黃瓜葉片進(jìn)行多 方位 多角度 多種距離拍攝 獲得849張患病及無(wú)病 蟲(chóng)害的黃瓜葉片圖像 同時(shí) 通過(guò)網(wǎng)絡(luò)爬蟲(chóng)技術(shù)對(duì)網(wǎng)絡(luò) 上公開(kāi)的患有病蟲(chóng)害及無(wú)病蟲(chóng)害的黃瓜葉片高質(zhì)量圖像 進(jìn)行部分爬取 獲得310張患病黃瓜葉片圖像 為保證 數(shù)據(jù)集獨(dú)立分布 篩選刪掉不適用圖像后保留了 1 049張圖像制作數(shù)據(jù)集 包含280張靶斑病 300張霜 霉病 259張白粉病以及210張無(wú)病害的黃瓜葉片圖像 且1 4左右以上的圖像包含兩個(gè)或兩個(gè)以上的葉片 黃 瓜葉片病蟲(chóng)害圖像如圖1所示 從圖1可以看出 患有靶斑病的葉片病斑呈圓形或 稍不規(guī)則形黃點(diǎn)子 病斑中間有近白色眼狀靶心 患有 霜霉病的葉片病斑呈多角形黃褐色斑點(diǎn) 病斑不過(guò)葉脈 患有白粉病的葉片正面或背面產(chǎn)生白色近圓形的小粉斑 靶斑病和霜霉病在發(fā)病前期病斑特征較為接近 且在自 然環(huán)境下拍攝 圖像中會(huì)包含如雜草 土壤等干擾區(qū)域 造成檢測(cè)環(huán)境復(fù)雜 進(jìn)一步增大檢測(cè)難度 a 靶斑病 a Target spot b 霜霉病 b Downy mildew c 白粉病 c Powdery mildew d 正常 d Normal 圖1 黃瓜葉片病蟲(chóng)害 Fig 1 Diseases and insect pests of cucumber leaf 1 2 數(shù)據(jù)集構(gòu)建 為了提高目標(biāo)檢測(cè)算法對(duì)錯(cuò)誤標(biāo)簽的記憶 增加樣 本的魯棒性以及網(wǎng)絡(luò)的泛化能力 對(duì)原始圖像進(jìn)行翻轉(zhuǎn) 扭曲 加噪 亮度調(diào)節(jié)等方法對(duì)數(shù)據(jù)集進(jìn)行初步擴(kuò)充 對(duì)擴(kuò)充后的圖像使用LabelImg對(duì)數(shù)據(jù)集圖像進(jìn)行人工標(biāo) 注 標(biāo)簽分別為TargetSpot 靶斑病 DownyMildew 霜霉病 PowderyMildew 白粉病 和Normal 正 常 試驗(yàn)采用MixUp 28 數(shù)據(jù)增強(qiáng)方法再次擴(kuò)充黃瓜葉 片病害圖像 MixUp基本思想是將兩個(gè)不同的樣本進(jìn)行 線性插值 從而生成一個(gè)新的樣本 如圖2所示 使用 MixUp將兩張圖像分別進(jìn)行翻轉(zhuǎn) 縮放 色域變化等 在圖像多余部分加上灰條 并堆疊在一起 a 原始圖像 1 a Original image 1 b 原始圖像 2 b Original image 2 c 數(shù)據(jù)增強(qiáng)后結(jié)果 c Data augmentation result 圖2 MixUp數(shù)據(jù)增強(qiáng)結(jié)果 Fig 2 MixUp data enhancement results 第 15 期劉詩(shī)怡等 基于改進(jìn)YOLOv7的黃瓜葉片病蟲(chóng)害檢測(cè)與識(shí)別165 通過(guò)對(duì)數(shù)據(jù)集的增強(qiáng)與擴(kuò)充 數(shù)據(jù)集圖像由開(kāi)始的 1 049張擴(kuò)充到2 699張 將圖像按照8 1 1的比例隨機(jī) 分為訓(xùn)練集 驗(yàn)證集和測(cè)試集 完成數(shù)據(jù)集的構(gòu)建 2 模型與訓(xùn)練 2 1 YOLOv7算法 與前幾代YOLO算法相比 YOLOv7算法在主干特 征提取網(wǎng)絡(luò)中加入了可擴(kuò)展的高效聚合層網(wǎng)Extended efficient long range attention network E ELAN 這種結(jié) 構(gòu)可以通過(guò)影響深度神經(jīng)網(wǎng)絡(luò)的梯度路徑從而加快模型 的收斂 提高檢測(cè)精度 其加強(qiáng)特征提取網(wǎng)絡(luò)主要是對(duì) 特征進(jìn)行融合 在加強(qiáng)特征提取網(wǎng)絡(luò)中引入空間金字塔 池化 跨階段部分連接Spatial pyramid pooling cross stage partial connection 29 SPPCSPC 模塊用于增大感受野 YOLOv7模型的分類與回歸器主要用于得到模型預(yù)測(cè)輸 出結(jié)構(gòu) 在預(yù)測(cè)頭部Yolo Head中加入重新參數(shù)化卷積 層Reparameterized convolutional layer RepConv 作 為特殊的殘差結(jié)構(gòu)輔助訓(xùn)練調(diào)整通道數(shù) 降低網(wǎng)絡(luò)復(fù)雜 度 原始YOLOv7算法雖然能獲得較好的檢測(cè)精確度 但是如何減小相似特征 目標(biāo)尺度變化和形狀變化對(duì)檢 測(cè)精度的影響仍是YOLOv7需要改進(jìn)的地方 2 2 改進(jìn)YOLOv7算法 本研究擬對(duì)原始YOLOv7算法進(jìn)行4個(gè)方面的改進(jìn) 改進(jìn)后的網(wǎng)絡(luò)結(jié)構(gòu)圖如圖3所示 改進(jìn)如下 CBS CBS CBS CBS C7 1 MP C3 C7 1 MP C3 C7 1 MP C3 C7 3 SPPCSPC SENet SENet CBS CBS SENet CBS UpSample Con cat C7 2 CBS UpSample Con cat C7 2 Conv BN ADD Conv BN SILU ADD Conv MP CBS CBS CBS Con cat C7 2 Conv BN ADD Conv BN SILU ADD Conv MP CBS CBS CBS Con cat C7 2 Conv BN ADD Conv BN SILU ADD Conv CBS Conv BN SILU CBS2 DCNv2 BN SILU C7 1 CBS CBS CBS CBS CBS Con cat CBS CBS Con cat C7 3 CBS2 CBS2 CBS2 CBS2 CBS2 Con cat CBS2 CBS2 Con cat MP C3 MP CBS CBS CBS Con cat SPPCSPC CBS CBS CBS MaxPool MaxPool MaxPool Con cat CBS CBS CBS Con cat CBS Con cat Con cat C7 2 CBS CBS CBS CBS CBS CBS Con cat CBS Con cat 640 640 80 80 40 40 20 20 注 Conv表示卷積 BN表示批量歸一化 SILU表示SILU激活函數(shù) DCNv2表示可變形卷積 Concat表示特征融合 UpSamlple表示上采樣 SENet表 示SENet通道注意力機(jī)制模塊 ADD表示特征通道相加 MaxPool表示最大池化 CBS CBS2 C7 1 C7 2 C7 3 SPPCSPC MP C3為合成模塊 Note Conv represents convolution BN represents batch normalization SILU represents SILU activation function DCNv2 represents deformable convolution Concat represents feature fusion UpSamlple represents upsampled SENet represents the attentional mechanism module of SENet channel ADD represents the addition of feature channels MaxPool represents maximum pooling CBS CBS2 C7 1 C7 2 C7 3 SPPCSPC and MP C3 are synthetic modules 圖3 改進(jìn)YOLOv7網(wǎng)絡(luò)模型 Fig 3 Improved YOLOv7 network model 1 將原始YOLOv7模型主干特征提取網(wǎng)絡(luò)的最后 一個(gè)輸出特征層的卷積更換為可變形卷積DCNv2 一定 程度上加深模型對(duì)尺度變形大的目標(biāo)的精準(zhǔn)定位能力 2 給主干特征提取網(wǎng)絡(luò)輸出的3個(gè)特征層結(jié)果添 加SENet通道注意力機(jī)制模塊 增強(qiáng)有效特征信息的提取 壓縮無(wú)用特征信息 提高模型對(duì)相似特征的識(shí)別能力 3 通過(guò)K means 算法對(duì)錨框信息進(jìn)行更新 使得 網(wǎng)絡(luò)學(xué)習(xí)到更好的檢測(cè)器 避免網(wǎng)絡(luò)在訓(xùn)練過(guò)程中盲目 學(xué)習(xí)目標(biāo)的尺寸和位置 提高模型的檢測(cè)性能 4 將原始YOLOv7的損失函數(shù)CIOU loss更換為 Focal EIOU loss 更新后的Loss函數(shù)可以聚焦于高質(zhì)量 的邊界框 2 2 1 可變形卷積 由于黃瓜葉片圖像形態(tài) 葉片面積大小 病斑大小 不同 原始YOLOv7使用普通卷積操作 造成卷積層在 特征提取時(shí)沒(méi)有適應(yīng)圖形幾何變形時(shí)對(duì)不同位置區(qū)域的 感受野尺寸的變化 大大削弱網(wǎng)絡(luò)模型對(duì)形狀 尺寸變 形大的葉片中病斑細(xì)小特征的提取能力 因此依靠普通 卷積操作來(lái)提取特征有一定的局限性 為緩解這一問(wèn)題 在主干特征提取網(wǎng)絡(luò)的輸出層中將普通卷積Conv2D更 替為可變形卷積DCNv2 22 其結(jié)構(gòu)如下圖4所示 通過(guò) 研究表明 可變形卷積通過(guò)增加可訓(xùn)練的偏移量 對(duì)于 位置變化具有良好的適應(yīng)能力 在采樣時(shí)可以更貼近葉 片病斑的形狀和尺寸 從而有利于提高目標(biāo)檢測(cè)的精度 和魯棒性 本研究將主干特征提取網(wǎng)絡(luò)中最后一個(gè)特征層的卷 積改為可變形卷積 在采樣時(shí)使其更貼近葉片病斑的形 狀和尺寸 加強(qiáng)模型對(duì)病斑細(xì)小特征的提取能力 一定 程度上提高了黃瓜葉片病蟲(chóng)害的檢測(cè)精度 如圖4所示 可變形卷積操作是在二維平面進(jìn)行的 是在傳統(tǒng)卷積的基礎(chǔ)上增加調(diào)整卷積核的方向向量 將 傳統(tǒng)卷積核提取的大小為W H C的特征圖作為輸入 通過(guò)再施加一個(gè)卷積核 2維 得到可變形卷積的偏移 量 改變偏移量x和y方向的值使卷積層做平移變換 166農(nóng)業(yè)工程學(xué)報(bào) http www tcsae org 2023 年 其中偏移量是利用插值算法通過(guò)反向傳播進(jìn)行學(xué)習(xí) 最 后利用得到的偏移量和輸入的特征圖做卷積得到輸出特 征圖 Conv Offset field W H 2C Offset yOffset x Output feature W H C Input feature W H C 注 W H C分別表示長(zhǎng) 寬和特征通道大小 x和y代表偏移量的方向 向量 Note W H and C represent length width and characteristic channel size respectively x and y represent the direction vector of the offset 圖4 DCNv2結(jié)構(gòu)圖 Fig 4 DCNv2 Structure 2 2 2 SENet通道注意力機(jī)制模塊 在黃瓜葉片病蟲(chóng)害的檢測(cè)中 利用原始YOLOv7算 法對(duì)病害發(fā)病早期 如霜霉病和靶斑病 這兩種病害的 病斑在發(fā)病早期均會(huì)呈現(xiàn) 黃點(diǎn)子 特征 病斑進(jìn)行檢 測(cè)時(shí)往往會(huì)出現(xiàn)誤檢現(xiàn)象 這是由于在特征提取的過(guò)程 中對(duì)有效特征信息的篩選不足 因此 為提高模型對(duì)早 疫病病斑的識(shí)別能力 需對(duì)各個(gè)特征通道的權(quán)值進(jìn)行矯 正 而在特征提取的過(guò)程中 SENet通道注意力機(jī)制模 塊可以加強(qiáng)有效特征信息通道的權(quán)重 降低并壓縮無(wú)用 特征信息通道的權(quán)重 從而發(fā)揮有用信息的最大作用 SENet通道注意力機(jī)制不會(huì)改變輸入特征圖的現(xiàn)有 結(jié)構(gòu) 而是通過(guò)改變各個(gè)通道的權(quán)重來(lái)實(shí)現(xiàn)特征加強(qiáng) 其模塊如圖5所示 ReLu Sigmoid X Global average pool bs C bs C bs C 16 bs C 16 bs 1 1 C Input bs C W H Output bs C W H 注 X表示上一層網(wǎng)絡(luò)輸出 bs表示輸入批量的大小 Global average pool 表示全局平均池化 Note X represents the network output of the previous layer bs represents the size of the input batch Global average pool represents global average pooling 圖5 SENet模塊 Fig 5 The SENet module SENet分3步 25 第一步為Squeeze 壓縮層 階段 對(duì)輸入的W H C的特征圖進(jìn)行全局平均池化 壓縮每 個(gè)通道的特征至1 1 C的C維向量 此過(guò)程通道數(shù)不 變 第二步為Excitation 激勵(lì)層 階段 用于捕捉通道 之間的關(guān)系 通過(guò)2次全連接層從向量中提取各個(gè)通道 的權(quán)重 第一個(gè)全連接層將維度降低為C 16 通過(guò)修正 線性單元Rectified linear unit ReLu 函數(shù)進(jìn)行激活 第 二個(gè)全連接層將通道恢復(fù)為原來(lái)的C維 采用Sigmoid 函數(shù)將通道權(quán)值固定在0 1之間 為每個(gè)通道學(xué)習(xí)一個(gè) 自適應(yīng)權(quán)值 權(quán)值越低該通道上的特點(diǎn)越不需要被關(guān)注 最后在Scale 比例層 將獲得的權(quán)值乘上原輸入特征層 實(shí)現(xiàn)各個(gè)通道重要程度的調(diào)整 SENet模塊通過(guò)自主學(xué)習(xí)各個(gè)通道的重要程度來(lái)提 高網(wǎng)絡(luò)對(duì)重要特征的注意力 增強(qiáng)有用信息提取 壓縮 無(wú)用信息來(lái)實(shí)現(xiàn)檢測(cè)和識(shí)別精確度的提高 本研究在主 干特征提取網(wǎng)絡(luò)的3個(gè)輸出結(jié)果處添加注意力機(jī)制 實(shí) 現(xiàn)對(duì)發(fā)病早期相似病斑有用特征的加強(qiáng) 一定程度上提 高了黃瓜葉片病蟲(chóng)害檢測(cè)和識(shí)別的精確度 2 2 3 K means 錨框更新 錨框作為目標(biāo)檢測(cè)網(wǎng)絡(luò)中較為重要的先驗(yàn)信息 模 型的先驗(yàn)框和真實(shí)框越接近 其檢測(cè)精確度越高 為了 避免網(wǎng)絡(luò)模型盲目學(xué)習(xí)目標(biāo)的尺寸和位置 利用K means 算法得到新的錨框初始值 相比于傳統(tǒng)K means錨框聚類 K means 改進(jìn)初始聚類中心點(diǎn)的選擇 方法 迭代次數(shù)通常較少且更加穩(wěn)定 26 本研究擬提取 錨框坐標(biāo) 將其轉(zhuǎn)換為特征向量作為K means 算法的 輸入 更新錨框初始值 同時(shí) 為了捕獲不同目標(biāo)在尺 度 形態(tài)等方面的差異 生成更貼合于真實(shí)框的錨框 將聚類簇?cái)?shù)量設(shè)置為大于目標(biāo)類別數(shù)量 試驗(yàn)中設(shè)置為 9 K means 算法首先隨機(jī)選取1個(gè)特征向量樣本作為 初始聚類中心點(diǎn) 計(jì)算其他樣本與初始聚類中心的距離 再根據(jù)距離權(quán)重 以概率選擇下一個(gè)聚類中心 并更新 已選擇的聚類中心 直至選擇預(yù)定數(shù)量的聚類中心 最 后得到更貼合于黃瓜葉片數(shù)據(jù)集的錨框信息 從而提高 模型的檢測(cè)精度 將聚類結(jié)果可視化展示在640 640像 素大小的畫布上 如圖6所示 不同顏色代表不同的 簇 位于同一簇的樣本其向量相似度度量接近 聚類后 的錨框初始值為 168 108 143 287 307 228 241 548 405 380 614 343 422 635 630 497 636 637 通過(guò)計(jì)算聚類中心與目標(biāo)之 間并交比Intersection over union IoU 選擇最匹配的 錨框作為候選區(qū)域 減少不必要的計(jì)算 提高目標(biāo)檢測(cè) 的精確度 600 500 400 300 200 100 0 0 100 200 300 400 500 600 注 表示聚類中心點(diǎn) 畫布大小為640 640像素 不同顏色的簇代 表具有不同特征的錨框信息 試驗(yàn)中簇個(gè)數(shù)設(shè)定為9 Note represents thecluster center point the canvassize is 640 640 pixels clusters ofdifferent colors represent anchor box information with different characteristics and thenumber of clusters in this experiment is set to 9 圖6 K means 聚類可視化結(jié)果 Fig 6 K means clustering visualization result 第 15 期劉詩(shī)怡等 基于改進(jìn)YOLOv7的黃瓜葉片病蟲(chóng)害檢測(cè)與識(shí)別167 2 2 4 Focal EIOU Loss函數(shù) 原始YOLOv7使用CIOU作為坐標(biāo)損失函數(shù) CIOU 損失考慮了重疊面積 中心點(diǎn)距離以及縱橫比這3個(gè)幾何 因素 然而在目標(biāo)識(shí)別和檢測(cè)過(guò)程中 邊界框 Bounding box BBox 是決定其精確度的重要因素之一 原始 YOLOv7算法的Loss函數(shù)并未考慮到 因此引入Focal EIOU loss函數(shù)來(lái)替代原始損失函數(shù) Focal EIOU函數(shù) 不僅包含了CIOU的有益特性 還聚焦于高質(zhì)量的BBox 提高模型檢測(cè)精確度同時(shí) 還可以加快模型收斂 27 Focal EIOU計(jì)算式如下 LEIOU LIOU Ldis Lasp 1 IOU 2 b bgt wc 2 hc 2 2 w wgt wc 2 2 w wgt hc 2 1 式中wc和hc是最小包圍框的寬高 將損失函數(shù)分為 IOU損失 距離損失Ldis和方位損失Lasp 給定預(yù)測(cè)框b 和bgt b和bgt分別表示目標(biāo)框和預(yù)測(cè)框的中心點(diǎn) 表 示b和bgt之間中心點(diǎn)坐標(biāo)的歐氏距離 EIOU損失在增 加長(zhǎng)寬比相似度的同時(shí) 也考慮到了模型如何通過(guò)焦點(diǎn) 損失的回歸形式有效減少 w h 和 wgt hgt 之間的真 實(shí)差異 更有益于模型檢測(cè)精確度的提高 2 3 模型訓(xùn)練與評(píng)價(jià)指標(biāo) 2 3 1 訓(xùn)練平臺(tái) 本試驗(yàn)使用的訓(xùn)練平臺(tái)主要參數(shù)為 Core i5 12400 CPU 4 4 GHz 內(nèi)存為32GB 1TB固態(tài)硬盤 Nvidia GeForce RTX 3090 24GB顯卡 安裝CUDA Cudnn版 本為11 4 8 2 2 系統(tǒng)為Windows操作系統(tǒng) Python版 本為3 8以及深度學(xué)習(xí)框架為Pytorch 1 10 0 2 3 2 訓(xùn)練參數(shù) 訓(xùn)練參數(shù)設(shè)置 圖像輸入尺寸為640 640 批次 Batch size為24 多線程設(shè)置為2 初始學(xué)習(xí)率為0 01 每次訓(xùn)練迭代 Epoch 1 000次 每完成10個(gè)迭代 保 存一次權(quán)重參數(shù) 共得到100個(gè)權(quán)重參數(shù) 由于試驗(yàn)修 改了原算法的主干特征提取網(wǎng)絡(luò) 因此在首次訓(xùn)練時(shí)無(wú) 預(yù)訓(xùn)練權(quán)重 先進(jìn)行300次的迭代訓(xùn)練 再利用訓(xùn)練好 的權(quán)重重新進(jìn)行1 000次的迭代訓(xùn)練 2 3 3 評(píng)價(jià)指標(biāo) 參考孫豐剛等 30 使用的評(píng)價(jià)指標(biāo) 采用精確度 Precision Pi 召回率Recall Ri 平均精確度 Average precision APi 30 平均精度均值 Mean average precision mAP 30 以及幀速率 Frame per second FPS 幀 s 作為模型的評(píng)價(jià)指標(biāo) 計(jì)算式如下 Pi TPT P FP 100 2 Ri TPT P FN 100 3 式中i表示不同的葉片病蟲(chóng)害 N表示數(shù)據(jù)集中分類的 個(gè)數(shù) 本文為4 TP表示圖片中正確檢測(cè)葉片病蟲(chóng)害的 數(shù)量 FP表示圖像中檢測(cè)錯(cuò)誤與目標(biāo)分類錯(cuò)誤的數(shù)量 FN表示圖像中漏檢的數(shù)量 APi具體為某一種病蟲(chóng)害的 P R曲線與坐標(biāo)軸圍成的面積 反應(yīng)了目標(biāo)檢測(cè)精度的性 能 mAP表示模型對(duì)不同病蟲(chóng)害的整體檢測(cè)精度的性能 3 結(jié)果與分析 為了對(duì)比分析本研究的改進(jìn)方法對(duì)模型性能的影響 在模型訓(xùn)練參數(shù)一致的情況下設(shè)計(jì)了3組試驗(yàn) 主流模 型性能對(duì)比試驗(yàn) 注意力機(jī)制對(duì)比試驗(yàn)和消融試驗(yàn) 并 選取具有代表性的圖像數(shù)據(jù)進(jìn)行測(cè)試 從模型的可視化 中 對(duì)模型的檢測(cè)效果進(jìn)行分析 3 1 主流模型性能對(duì)比 為了對(duì)比本研究模型與SSD模型 Faster RCNN模 型 YOLOv5l模型 YOLOv7模型 YOLOv7 tiny模型 在目標(biāo)檢測(cè)任務(wù)中的有效性 本試驗(yàn)設(shè)計(jì)了第1組不同 模型之間性能測(cè)試對(duì)比 采用相同的數(shù)據(jù)集和參數(shù)設(shè)置 進(jìn)行1 000次迭代訓(xùn)練和測(cè)試 表1列出不同模型的精 確度 召回率 平均精度均值和幀速率 表 1 主流模型訓(xùn)練結(jié)果 Table 1 Mainstream model training results 模型 Model 精確度 Precision 召回率 Recall 平均精度均值 Mean average precision mAP 幀速率 Frame per second FPS 幀 s 1 DCNSE YOLOv7 96 02 93 15 94 25 52 04 YOLOv7 93 59 92 34 91 38 52 72 YOLOv5l 93 88 92 34 91 53 50 88 Faster RCNN 95 74 93 55 93 97 29 60 SSD 84 26 80 27 82 21 132 63 YOLOv7 tiny 87 63 86 19 87 23 289 45 對(duì)比試驗(yàn)結(jié)果顯示DCNSE YOLOv7模型的檢測(cè)精確 度和平均精度均值與其他網(wǎng)絡(luò)相比都為最高 檢測(cè)精確 度與YOLOv5l YOLOv7 Faster RCNN SSD YOLOv7 tiny模型相比分別提高2 14 2 43 0 28 11 76和8 39 個(gè)百分點(diǎn) DCNSE YOLOv7模型與Faster RCNN模型的 檢測(cè)精度差別不大 這是由于網(wǎng)絡(luò)內(nèi)部結(jié)構(gòu)不同 Faster RCNN作為二階段算法僅需送入網(wǎng)絡(luò)一次便可測(cè)出所有 邊界框 故檢測(cè)精度稍小于DCNSE YOLOv7模型 相 比YOLOv5l YOLOv7 SSD YOLOv7 tiny模型 召回 率分別提高0 81 2 87 12 88 6 96個(gè)百分點(diǎn) 與Faster RCNN相比降低0 4個(gè)百分點(diǎn) 平均精度均值與 YOLOv5l YOLOv7 Faster RCNN SSD和YOLOv7 tiny模型相比分別提高2 72 2 87 0 28 12 04和7 02 個(gè)百分點(diǎn) 在檢測(cè)速度方面 DCNSE YOLOv7比 YOLOv5l和Faster RCNN分別提高1 16和22 44幀 s 比 YOLOv7 SSD YOLOv7 tiny降低了0 68 80 59 237 41幀 s 可見(jiàn) 本試驗(yàn)所構(gòu)建的DCNSE YOLOv7目 標(biāo)檢測(cè)網(wǎng)絡(luò)具有比其他5種模型具有更好的在檢測(cè)準(zhǔn)確 率和檢測(cè)速度之間平衡的能力 尤其在病斑細(xì)小特征識(shí) 別方面能夠勝任具有較多小目標(biāo)的黃瓜葉片病斑檢測(cè)任 務(wù) 同時(shí) 從模型對(duì)單個(gè)圖像的平均處理時(shí)長(zhǎng)來(lái)看 DCNSE YOLOv7模型的檢測(cè)速率雖低于SSD YOLOv7 tiny模型 但其滿足黃瓜葉片病斑在檢測(cè)過(guò)程中對(duì)精確 度的要求 3 2 不同注意力機(jī)制檢測(cè)性能對(duì)比 為了驗(yàn)證SENet注意力機(jī)制的有效性 設(shè)計(jì)了第2 168農(nóng)業(yè)工程學(xué)報(bào) http www tcsae org 2023 年 組試驗(yàn) 將SENet通道注意力機(jī)制模塊 與卷積塊注意 力模塊Convolutional block attention module CBAM 和 高效通道注意力Efficient channel attention ECA 進(jìn)行對(duì) 比 結(jié)果見(jiàn)表2 表 2 不同注意力機(jī)制模型訓(xùn)練結(jié)果 Table 2 Training results of different attention mechanism models 模型 Model 精確度P recision 召回率 Recall mAP FPS 幀 s 1 DCNSE YOLOv7 96 02 93 15 94 25 52 04 DCNCBAM YOLOv7 94 91 91 48 92 28 52 17 DCNECA YOLOv7 95 07 91 79 92 51 52 29 由表2可得 DCNSE YOLOv7算法使用的SENet 注意力機(jī)制優(yōu)于CBAM注意力機(jī)制和ECA注意力機(jī)制 與DCNCBAM YOLOv7相比 DCNSE YOLOv7的精確 度 召回率和mAP分別提高了1 11 1 67和1 97個(gè)百 分點(diǎn) FPS下降了0 13幀 s 與DCNECA YOLOv7相比 DCNSE YOLOv7的精確率 召回率和mAP分別提高了 0 95 1 36和1 74個(gè)百分點(diǎn) FPS下降了0 25幀 s 因 此 SENet注意力機(jī)制在YOLOv7模型上對(duì)有效特征信 息的篩選更優(yōu)異 對(duì)病斑的識(shí)別能力高于CBAM ECA 注意力機(jī)制算法 能夠有效提升模型對(duì)黃瓜葉片病蟲(chóng)害 識(shí)別的準(zhǔn)確度 驗(yàn)證了該試驗(yàn)方法的可行性 使用本試驗(yàn)算法與原始YOLOv7迭代訓(xùn)練1 000次 得到的精確度Precision 召回率Recall曲線如圖7所示 從圖中可以看出 初始時(shí) DCNSE YOLOv7模型的R 曲線縱坐標(biāo)非零 這是因?yàn)樵囼?yàn)修改了原算法的主干特 征提取網(wǎng)絡(luò) 在首次訓(xùn)練時(shí)無(wú)預(yù)訓(xùn)練權(quán)重 故先進(jìn)行 300次的迭代訓(xùn)練后 再利用訓(xùn)練好的權(quán)重和YOLOv7 模型進(jìn)行1 000次迭代訓(xùn)練 在訓(xùn)練迭代第500次時(shí) 精確度曲線繼續(xù)上升但趨于平穩(wěn) 在迭代第600次時(shí) 召回率曲線雖伴有震蕩但趨勢(shì)明顯放緩 0 200 400 600 800 1 000 20 40 60 80 100 20 40 60 80 100 精確度 Precious DCNSE YOLOv7 YOLOv7 a DCNSE YOLOv7與YOLOv7的 精確度結(jié)果對(duì)比 a Compare Priecsion result of DCNSE YOLOv7 and YOLOv7 迭代次數(shù) 次 Epoch turn 0 200 400 600 800 1 000 召回率 Recall DCNSE YOLOv7 YOLOv7 b DCNSE YOLOv7與YOLOv7的 召回率結(jié)果對(duì)比 b Compare Recall result of DCNSE YOLOv7 and YOLOv7 迭代次數(shù) 次 Epoch turn 圖7 精確度 召回率曲線圖 Fig 7 Precsion and Recall curves 3 3 消融試驗(yàn)性能對(duì)比 本研究在YOLOv7模型的基礎(chǔ)上 使用可變形卷積 DCNv2自適應(yīng)圖形幾何變化 提升網(wǎng)絡(luò)模型的對(duì)病斑細(xì) 小特征的精準(zhǔn)定位能力 添加SENet注意力機(jī)制模塊 加強(qiáng)模型對(duì)發(fā)病早期 多病害葉片相似特征的有效提取 能力 通過(guò)K means 聚類算法對(duì)數(shù)據(jù)集的檢測(cè)框重新 聚類 提升網(wǎng)絡(luò)表征能力 在預(yù)測(cè)層使用Focal EIOU作 為損失函數(shù) 獲得更好回歸結(jié)果 為驗(yàn)證各種改進(jìn)的有 效性 依次對(duì)DCNSE YOLOv7網(wǎng)絡(luò)進(jìn)行縮減 分別在 測(cè)試集上進(jìn)行消融試驗(yàn) 以平均精度均值mAP為評(píng)價(jià)指 標(biāo) 表3為消融試驗(yàn)結(jié)果 表 3 不同消融方法試驗(yàn)結(jié)果 Table 3 Results of different ablation methods 試驗(yàn) Test MixUp DCNv2 SENet K means Focal EIOU mAP 1 90 65 2 91 34 3 92 41 4 92 96 5 91 62 6 91 58 7 94 12 注 試驗(yàn)以原始YOLOv7為基準(zhǔn) 表示進(jìn)行添加或改進(jìn) 表示未 進(jìn)行變動(dòng) Note The test is based on the original YOLOv7 represents add or improve represents no change 通過(guò)消融試驗(yàn)結(jié)果分析 使用MixUp數(shù)據(jù)增強(qiáng)后 模型的檢測(cè)精度提高了0 69個(gè)百分點(diǎn) 在使用MixUp 數(shù)據(jù)增強(qiáng)的條件下 由試驗(yàn)2 6可得 在主干特征提取 網(wǎng)絡(luò)中將普通卷積更換為可變形卷積DCNv2 引入 SENet注意力機(jī)制模塊 更新錨框信息和使用Focal EIOU代替原始Loss函數(shù)均為正向改進(jìn) 引入可變形卷 積DCNv2后 模型的mAP提高了1 07個(gè)百分點(diǎn) 說(shuō)明 引入DCNv2可以提升模型對(duì)尺寸變化大的目標(biāo)的識(shí)別能 力 加入SENet注意力機(jī)制后 模型更好地?cái)M合通道間 復(fù)雜的相關(guān)性 對(duì)有效特征的提取能力增強(qiáng) mAP提高 了1 62個(gè)百分點(diǎn) 更新錨框信息和使用Focal EIOU損 失函數(shù)后 mAP分別提高了0 28和0 24個(gè)百分點(diǎn) 由 試驗(yàn)7將DCNSE YOLOv7模型應(yīng)用在測(cè)試集上發(fā)現(xiàn) 模型在測(cè)試集與訓(xùn)練集上的性能表現(xiàn)接近 其mAP比訓(xùn) 練集下降了0 13個(gè)百分點(diǎn) 且采用MixUp數(shù)據(jù)增強(qiáng)方 式有效的削弱了過(guò)擬合現(xiàn)象的風(fēng)險(xiǎn) 模型具有較好的泛 化能力 進(jìn)一步驗(yàn)證了本試驗(yàn)方案的可行性 3 4 不同模型黃瓜葉片病蟲(chóng)害檢測(cè)可視化 使用訓(xùn)練好的DCNSE YOLOv7 YOLOv7 YOLOv5l Faster RCNN SSD YOLOv7 tiny模型分別 對(duì)自然場(chǎng)景下黃瓜葉片病蟲(chóng)害進(jìn)行檢測(cè) 得到可視化圖 像如圖8所示 其中紫框?yàn)檎Ｈ~片 紅框?yàn)榘邪卟∪~