改進Multi-scale ResNet的蔬菜葉部病害識別.pdf

第 36 卷 第 20 期 農(nóng) 業(yè) 工 程 學 報 Vol 36 No 20 2020 年 10月 Transactions of the Chinese Society of Agricultural Engineering Oct 2020 209 改進 Multi scale ResNet 的蔬菜葉部病害識別 王春山 1 2 3 4 周 冀 1 吳華瑞 2 3 滕桂法 1 4 趙春江 2 3 李久熙 5 1 河北農(nóng)業(yè)大學信息科學與技術學院 保定 071001 2 國家農(nóng)業(yè)信息化工程技術研究中心 北京 100097 3 北京農(nóng)業(yè)信息技 術研究中心 北京 100097 4 河北省農(nóng)業(yè)大數(shù)據(jù)重點實驗室 保定 071001 5 河北農(nóng)業(yè)大學機電工程學院 保定 071001 摘 要 基于深度網(wǎng)絡的蔬菜葉部病害圖像識別模型雖然性能顯著 但由于存在參數(shù)量巨大 訓練時間長 存儲成本與 計算成本過高等問題 仍然難以部署到農(nóng)業(yè)物聯(lián)網(wǎng)的邊緣計算設備 嵌入式設備 移動設備等硬件資源受限的領域 該 研究在殘差網(wǎng)絡 ResNet18 的基礎上 提出了改進型的多尺度殘差 Multi scale ResNet 輕量級病害識別模型 通過增 加多尺度特征提取模塊 改變殘差層連接方式 將大卷積核分解 進行群卷積操作 顯著減少了模型參數(shù) 降低了存儲 空間和運算開銷 結果表明 在 PlantVillage 和 AI Challenge2018 中 15 種病害圖像數(shù)據(jù)集中取得了 95 95 的準確率 在 自采集的 7 種真實環(huán)境病害圖像數(shù)據(jù)中取得了 93 05 的準確率 在準確率較 ResNet18 下降約 3 的情況下 模型的訓練 參數(shù)減少 93 模型總體尺寸縮減 35 15 該研究提出的改進型 Multi scale ResNet 使蔬菜葉部病害識別模型具備了在硬 件受限的場景下部署和運行的能力 平衡了模型的復雜度和識別精度 為基于深度網(wǎng)絡模型的病害識別系統(tǒng)進行邊緣部 署提供了思路 關鍵詞 圖像處理 病害 圖像識別 多尺度 輕量化 殘差層 ResNet18 doi 10 11975 j issn 1002 6819 2020 20 025 中圖分類號 S511 文獻標志碼 A 文章編號 1002 6819 2020 20 0209 09 王春山 周冀 吳華瑞 等 改進 Multi scale ResNet 的蔬菜葉部病害識別 J 農(nóng)業(yè)工程學報 2020 36 20 209 217 doi 10 11975 j issn 1002 6819 2020 20 025 http www tcsae org Wang Chunshan Zhou Ji Wu Huarui et al Identification of vegetable leaf diseases based on improved Multi scale ResNet J Transactions of the Chinese Society of Agricultural Engineering Transactions of the CSAE 2020 36 20 209 217 in Chinese with English abstract doi 10 11975 j issn 1002 6819 2020 20 025 http www tcsae org 0 引 言 據(jù)農(nóng)業(yè)農(nóng)村部最新統(tǒng)計 中國蔬菜種植面積目前已 突破 2 000 萬 hm 2 產(chǎn)量在 7 億 t 以上 產(chǎn)值超 2 萬億元 蔬菜總產(chǎn)值約占種植業(yè)總產(chǎn)值的 35 1 在各類蔬菜上發(fā) 生的病害種類有 500 多種 每年因各種病害造成的損失 超過 1 000 億元 研究表明大多數(shù)的蔬菜病害通過葉部侵 染 因此葉部癥狀分析是實現(xiàn)病害識別的重要手段之一 近年來 隨著深度學習在圖像分類中的優(yōu)異表現(xiàn) 2 6 基 于深度學習的蔬菜葉部病害識別模型逐漸成為了研究的 熱點 7 10 張善文等 11 和馬浚誠等 12 分別在 LeNet 基礎上 設計了黃瓜葉部病害識別的網(wǎng)絡模型 取得了理想的識 別效果 王艷玲等 13 和李淼等 14 在 AlexNet 和 VGG 網(wǎng)絡 上引入遷移學習提高了識別準確率 并解決了訓練樣本 少的問題 郭小清等 15 對 AlexNet 進行了加寬 采用多 種尺度的卷積核 使圖像特征得到不同層次的提取 并 去掉批量歸一化 batch normalization 層 從而減少了 收稿日期 2020 07 07 修訂日期 2020 08 28 基金項目 國家大宗蔬菜產(chǎn)業(yè)技術體系 CARS 23 C06 國家重點研發(fā)計 劃 2019YFD1101105 國家自然基金項目 61771058 河北省重點研發(fā) 計劃項目 20327402D 河北省研究生創(chuàng)新資助項目 CXZZBS2020103 作者簡介 王春山 在職博士生 副教授 主要從事人工智能 智慧農(nóng)業(yè) 圖像識別研究 Email chunshan9701 通信作者 趙春江 研究員 博士生導師 主要從事人工智能 智慧農(nóng)業(yè) 智能農(nóng)業(yè)裝備和農(nóng)業(yè)信息技術研究 Email zhaocj 網(wǎng)絡參數(shù)量 最終將模型應用到移動端 在電腦端識別 平均準確率為 92 7 在移動端識別真實場景的圖片準確 率為 89 2 而吳瑞華等 16 胡志偉等 17 和曾偉輝等 18 則進一步在殘差網(wǎng)絡上引入注意力 高階殘差和參數(shù)共 享機制提高了病害識別的細粒度水平 準確率和魯棒性 Too 等 19 評估了 VGG16 Inception V4 具有 50 101 和 152 層的 ResNet 和 121 層的 DenseNet 其中 DenseNet 在 PlantVillage 上的識別準確率達到了 99 75 劉洋等 20 為了實現(xiàn)手機端的病害識別 對 MobileNet 和 Inception V3 網(wǎng)絡的模型尺寸 所占內(nèi)存 識別精度等方面做了 比較 盡管深度網(wǎng)絡模型在蔬菜病害識別任務上取得了優(yōu)異 表現(xiàn) 但是考慮到有些應用場景需要將其移植到硬件資源 受限的嵌入式或者移動設備上 它仍面臨模型參數(shù)量巨大 訓練耗時長 存儲空間大等方面約束 21 22 因此 如何在保 證模型識別準確率的前提下 對模型進行緊湊和精簡設計 已經(jīng)成為亟待解決的問題 一方面蔬菜葉部病害特征通常 表現(xiàn)在不同大小的區(qū)域內(nèi) 模型需要多尺度感受野捕獲不 同范圍的病害特征 另一方面 由于考慮到在移動端和嵌 入式設備進行部署時對存儲和計算能力的限制 需在保障 準確率的前提下盡量壓縮模型的復雜度 綜上 本研究通過增加多尺度特征提取模塊 改變 殘差層連接方式 將大卷積核分解 進行群卷積操作等 設計手段 改進了經(jīng)典殘差網(wǎng)絡 ResNet18 的多尺度識別 能力 顯著壓縮了模型參數(shù)量 降低了存儲空間和運算 農(nóng)業(yè)工程學報 http www tcsae org 2020 年 210 開銷 將模型的準確率與復雜度控制在合理的范圍之內(nèi) 為硬件受限的場景下 部署和運行基于深度網(wǎng)絡模型的 病害識別系統(tǒng)進行了探索 1 材料與方法 1 1 數(shù)據(jù)來源 本研究共采用 2 種數(shù)據(jù)集 數(shù)據(jù)集 1 來自 PlantVillage 中 10 種番茄病害圖像 番茄早疫病 番茄晚疫病 番茄 葉霉病 番茄細菌性斑點病 番茄斑枯病 番茄黃曲病 番茄二斑葉螨病 番茄輪斑病 番茄病毒病和健康 3 種 土豆病害 土豆早疫病 土豆晚疫病和健康 和 AI Challenge2018 比賽中辣椒的 2 種病害 辣椒瘡痂病和健 康 共 19 517 張 數(shù)據(jù)集 1 中的樣本均為實驗室環(huán)境下 拍攝的簡單背景葉部病害圖像 數(shù)據(jù)集 2 來自采集蔬菜 病害圖像 番茄健康 番茄白粉病 番茄早疫病 黃瓜 健康 黃瓜白粉病 黃瓜病毒病 黃瓜霜霉病 共 2 855 張 數(shù)據(jù)集 2 中的樣本均為實際生產(chǎn)環(huán)境下拍攝的復雜 背景葉部病害圖像 2 種數(shù)據(jù)集均按照 7 2 1 的比例分 別劃分訓練集 測試集和驗證集 其中數(shù)據(jù)集 1 和數(shù)據(jù) 集 2 的健康圖像和病害圖像示例如圖 1 所示 a 簡單背景下不同蔬菜的健康和病 害圖像 數(shù)據(jù)集 1 b 復雜背景下不同蔬菜的健康和病 害圖像 數(shù)據(jù)集 2 a Health and disease images of different vegetables in simple background Dataset 1 b Health and disease images of different vegetables in complex background Dataset 2 圖 1 2 種數(shù)據(jù)集示例 Fig 1 Two datasets of samples 1 2 數(shù)據(jù)增強 數(shù)據(jù)增強主要出于兩種考慮 一是盡可能的增加病害 圖像的數(shù)量 二是盡量模擬實際環(huán)境中的不同光線和多種 角度的拍照效果 為了模擬實際環(huán)境中拍照角度的隨機性 光照強度的變化 葉片上可能存在灰塵等情況 本研究 2 個數(shù)據(jù)集均采用了相同的 5 種增強方式 1 平移縮放旋轉 圖像本身不發(fā)生變化 只是圖像的位置 方向進行改變 可 模擬不同機位的圖像數(shù)據(jù) 2 隨機裁剪縮放 圖像進行隨機 位置裁剪 可以挑選不同位置的圖像進行訓練 3 隨機亮度 對比度增強 圖像進行隨機強度的亮度和對比度增強 可以 增加病斑與葉片的差別和模擬不同的光照強度 4 隨機 Gamma 噪聲 圖像增加隨機 Gamma 噪聲 可以模擬不同 質量的圖像數(shù)據(jù) 5 垂直翻轉 圖像沿著水平線進行垂直 位置翻轉 可以模擬不同相機角度的圖像數(shù)據(jù) 最終經(jīng)過 數(shù)據(jù)增強后訓練數(shù)據(jù)增加到 134 232 張 2 模型改進 2 1 ResNet18 優(yōu)點與不足 自 AlexNet 以來 越來越深的網(wǎng)絡為解決更復雜的問 題被提出 如 VGG16 VGG19 GoogleNet 但是隨著 網(wǎng)絡深度的加深帶來了梯度消失 梯度爆炸等問題 2015 年 He 等 6 提出了 ResNet 解決了深層網(wǎng)絡梯度消失的問 題 ResNet18 共有 18 層 網(wǎng)絡的輸入為 224 224 的三通 道圖像 經(jīng)過第一層卷積后圖像降維到 112 112 通道數(shù) 增加到 64 在經(jīng)過最大池化層后圖像進一步降維到 56 56 通道數(shù)不增加 經(jīng)過前兩步操作后進入殘差部分 每經(jīng)歷一部分殘差圖像降維一半 通道數(shù)增加到原來的 2 倍 圖像降維通過步長為 2 的卷積層實現(xiàn) 經(jīng)過 4 次殘 差操作后圖像降維到 7 7 通道數(shù)增加至 512 最后連接 平均池化層和全連接層 ResNet18 雖然解決了梯度消失 問題 但是在硬件資源受限的蔬菜葉部病害識別使用場 景下 仍存在特征提取尺寸單一 模型參數(shù)多 資源需 求大等問題 2 2 ResNet18 改進步驟 本研究針對 ResNet18 存在的問題和蔬菜病害的特點 設計了一種改進版本的 Multi scale ResNet 該網(wǎng)絡借鑒 了 ResNet18 的主體架構 Multi scale ResNet 網(wǎng)絡結構如 圖 2 所示 在 5 個方面做了如下改進 1 更新殘差層連接方式 ResNet18 通過學習相鄰網(wǎng)絡層殘差來更新學習參 數(shù) 改進兩層殘差連接使得網(wǎng)絡不僅學習相鄰網(wǎng)絡層的 誤差也可以學習相鄰兩層網(wǎng)絡誤差 從而網(wǎng)絡更新更加 細膩 特征學習更加充分 2 添加多尺度提取特征 在 ResNet18 殘差模塊中只進行了 2 個卷積核大小為 3 3 的卷積層堆疊實現(xiàn)圖像特征提取 但是蔬菜病害癥狀 復雜多樣 病斑大小不一 顏色和發(fā)病部位均不相同 例如 番茄早疫病初期為水漬狀褐色小斑點 后轉為圓 形或橢圓形暗褐色病斑 番茄潰瘍病發(fā)病初期發(fā)生部位 為下部葉片 后為葉部邊緣最后整片葉片枯萎 番茄晚 疫病病斑初期為暗綠色水漬狀病斑 后為暗褐色 黑褐 色 本網(wǎng)絡將殘差模塊設置成 2 個通道 第一個通道采 用卷積核大小為 7 7 的卷積層加上卷積核大小為 3 3 的 卷積層 第二個通道采用卷積核大小為 5 5 的卷積層加 上卷積核大小為 3 3 的卷積層 并在輸出部分將兩通道 的特征圖相加 在整個殘差模塊中重復 2 次 最終構成 了完整的多尺度特征提取殘差模塊 3 改進特征圖降維方式 ResNet18 將殘差模塊之間的特征圖降維卷積層放到 殘差模塊里面 使得每個殘差模塊直接相連 本網(wǎng)絡將 殘差模塊中的特征圖降維卷積層剝離出來 放置于 2 個 殘差模塊之間 這樣既可以使網(wǎng)絡學習層間誤差又可以 學習網(wǎng)絡層的輸出特征 并且在一定程度上簡化了網(wǎng)絡 的復雜程度 第 20 期 王春山等 改進 Multi scale ResNet 的蔬菜葉部病害識別 211 注 Conv1 1 和 Conv1 2 代表卷積核為 7 7 的卷積層分解之后的卷積層 1 1 和卷積層 1 2 Conv2 Conv3 和 Conv4 分別代表卷積層 2 卷積層 3 和卷積層 4 殘差塊中 Conv1 1 1 Conv1 1 2 和 Conv2 1 1 Conv2 1 2 分別代表卷積核 7 7 分解之后的卷積層 1 1 1 卷積層 1 1 2 和卷積層 2 1 1 卷積層 2 1 2 殘差塊中 Conv1 2 1 Conv1 2 2 和 Conv2 2 1 Conv2 2 2 分別代表卷積核 5 5 分解之后的卷積層 1 2 1 卷積層 1 2 2 和卷積層 2 2 1 卷積層 2 2 2 殘差塊中 Conv1 12 Conv2 12 Conv1 22 和 Conv2 22 代表卷積核為 3 3 的卷積層 1 12 卷積層 2 12 卷積層 1 12 和卷積層 2 22 代表特征圖相加 Note Conv1 1 and Conv1 2 represents convolution layer 1 1 and convolution layer 1 2 after 7 7 convolution kernel decomposition Conv2 Conv3 and Conv4 represents convolution layer 2 convolution layer 3 and convolution layer 4 respectively Conv1 1 1 Conv1 1 2 and Conv2 1 1 Conv2 1 2 in residual block represents convolution layer 1 1 1 convolution layer 1 1 2 and convolution layer 2 1 1 convolution layer 2 1 2 after 7 7 convolution kernel decomposition respectively Conv1 2 1 Conv1 2 2 and Conv2 2 1 Conv2 2 2 in residual block represents convolution layer 1 2 1 convolution layer 1 2 2 and convolution layer 2 2 1 convolution layer 2 2 2 after 5 5 convolution kernel decomposition respectively Conv1 12 Conv2 12 Conv1 22 and Conv2 22 in residual block represents convolution layer 1 12 convolution layer 2 12 convolution layer 1 12 and convolution layer 2 22 with 3 3 convolution kernel respectively represents feature map addition 圖 2 Multi scale ResNet 網(wǎng)絡結構 Fig 2 Structure of the Multi scale ResNet network 4 進行大卷積核分解 在 2 2 2 小節(jié)中使用 7 7 和 5 5 的卷積核獲取多尺度特 征的同時也導致了網(wǎng)絡的訓練參數(shù)大大增加 為了在不改 變網(wǎng)絡卷積核感受野的前提下 壓縮模型的參數(shù)量 進行 了大卷積分解 Inception 網(wǎng)絡結構采用了 2 種方法進行卷 積核分解 第一種方法是使用 3 個 3 3 卷積核代替 1 個 7 7 卷積核 使用 2 個 3 3 卷積核代替 1 個 5 5 卷積核 第二 種方法是使用 7 1 卷積核加上 1 7 卷積核代替 7 7 卷積核 農(nóng)業(yè)工程學報 http www tcsae org 2020 年 212 使用 5 1 卷積核加上 1 5 卷積核代替 5 5 卷積核 這 2 種 方法都能保證分解后的卷積核感受野不發(fā)生變化 理論分 析第二種方法的訓練參數(shù)縮減效果比第一種更明顯 本研 究借鑒了 Inception 網(wǎng)絡第二種方法進行大卷積核的分解 5 進行群卷積 在殘差塊結構中的 3 3 卷積核的卷積層采用群卷積 操作 群卷積可以顯著的壓縮模型訓練參數(shù) 使訓練參 數(shù)縮減為原始訓練的 1 g g 為組數(shù) 并且由于特征被 分為多個組 在向后傳遞特征時前一層的特征將被分到 后一層的多個特征圖 增加了特征的使用率 2 3 評價指標 評價一個病害識別模型的性能有多種評價指標 使 用不同的評價指標可以從不同角度對模型識別效果進行 評價 本研究使用以下 4 種評價方式對網(wǎng)絡模型的性能 進行評價 2 3 1 平均識別準確率 平均識別準確率 P 指模型中預測正確的樣本 與全部觀測值的比值 如式 1 所示 1 TP TP FP N i i ii P 1 式中 TP i FP i 分別表示測試集中第 i 類病害樣本預測正確 的和預測錯誤的樣本數(shù) N 表示病害種類數(shù) 平均識別準 確率可以衡量模型對于整個蔬菜病害數(shù)據(jù)集 15 種病害的 識別精度 便于從宏觀角度對比不同模型的識別性能 2 3 2 最高識別準確率 模型的最高識別準確率 與平均識別準確率不同 之處在于其可以衡量一個模型的最佳性能 以便保存模 型達到最佳性能時的模型參數(shù) 2 3 3 模型訓練時間 模型訓練時間是衡量一個模型性能的重要參數(shù) 模 型訓練時間少有助于進行參數(shù)學習 即使在沒有圖形處 理器 Graphics Processing Unit GPU 的情況下也應能 夠快速訓練 有利于模型參數(shù)的更新 2 3 4 模型尺寸 隨著不同網(wǎng)絡模型精度的不斷提高 在提高識別精 度的同時考慮模型的部署和運行所需的硬件資源 過于 復雜的網(wǎng)絡模型占用大量的存儲和運算資源 限制了它 們在硬件資源受限場景下的部署和運行 所以模型的尺 寸大小也是需要考慮的關鍵因素之一 3 試驗設計 本試驗與對照組均在 Ubuntu18 04 環(huán)境下進行 處理器為 Intel core i9 9820X 內(nèi)存為 64G 顯卡為 GeForce RTX 2080Ti 11G DDR6 采用深度學習框架 Pytorch 配 合 Cuda10 1 進行訓練 試驗設計和對照過 程中網(wǎng)絡批處理大小 batch size 設置為 32 樣本輸 入尺寸均采用 224 224 所有網(wǎng)絡模型均迭代次數(shù)為 50 輪 3 1 Multi scale ResNet 不同設計方案比較 本研究從卷積核大小 通道數(shù)量 殘差層連接方式 及殘差塊數(shù)量 卷積分組等角度對 Multi scale ResNet 進 行了組合設計 設計方案如表 1 所示 不同方案性能參 數(shù)對比如表 2 所示 可得出如下結論 1 通道設計方面 比較方案 1 和方案 2 可知 在相同的卷積核大小和 殘差層連接方式情況下 雙通道比單通道得到的最高準 確率高 在方案 6 中使用了三通道 雖然準確率和收斂 時間均比方案 1 和方案 2 效果好 但經(jīng)過驗證是兩層連 接設計起到了決定性作用 2 卷積核設計方面 在方案 1 和方案 3 中采用了相同的通道設計和殘差 層連接設計 卷積核分別使用了大卷積核和小卷積核 最終大卷積核的最高準確率比小卷積核的最高準確率 高 并且方案 3 達到最高準確率的時間也比方案 1 快 但是方案 3 采用大卷積核并沒有使用卷積核分解和群卷 積操作 所以增加了模型的訓練參數(shù) 3 殘差層連接設計方面 在方案 4 和方案 5 中均采用相同的卷積核大小和通 道設計 方案 5 中采用 2 個殘差塊就可以達到方案 4 中 4 個殘差塊的準確率 從而說明采用兩層通道連接可以在 精簡網(wǎng)絡參數(shù)的前提下提高模型的準確率 表 1 Multi scale ResNet 設計方案 Table 1 Design schemes of the Multi scale ResNet 方案 編號 卷積核設計 Design of convolution kernel 通道設計 Design of channel 殘差層連接設計 Design of residual layer connection 分組設計 Design of groups 殘差塊設計 Design of residual blocks No of project 大卷積核 Large kernel size 小卷積核 Small kernel size 單通道 Single channel 雙通道 Dual channels 三通道 Three channels 一層連接 One layer connection 兩層連接 Two layers connection 應用 Applied 不應用 Not applied 2 塊 Two blocks 4 塊 Four blocks 1 2 3 4 5 6 7 第 20 期 王春山等 改進 Multi scale ResNet 的蔬菜葉部病害識別 213 表 2 Multi scale ResNet 設計方案性能對比結果 Table 2 Performance comparison results of design schemes of the Multi scale ResNet 驗證集最高準確率 Highest recognition accuracy of the validation set 訓練集最高準確率訓練用時 Training time of the training set s highest recognition accuracy s 方案編號 No of project 模型訓練參數(shù) Model training parameters 模型整體大小 Overall model size MB 數(shù)據(jù)集 1 Dataset 1 數(shù)據(jù)集 2 Dataset 2 數(shù)據(jù)集 1 Dataset 1 數(shù)據(jù)集 2 Dataset 2 1 1 278 319 54 84 95 86 92 89 2 326 1 492 2 2 305 391 75 12 96 73 93 01 1 471 621 3 6 193 519 73 59 97 27 93 89 1 804 934 4 1 114 479 100 09 97 09 93 39 1 700 964 5 1 114 479 70 12 97 04 92 76 1 634 1 228 6 3 332 463 95 40 97 04 93 26 1 779 752 7 753 897 68 75 95 71 92 51 1 305 1 177 4 分組設計方面 前 6 種方案中均采用了不分組方法 方案 7 采用分 組方案設計 從模型訓練參數(shù)來看 采用分組方法可以 顯著的降低模型的復雜程度 但是模型準確率隨之下降 了大約 1 5 5 殘差塊數(shù)量設計方面 為了進一步降低模型的復雜程度 方案 4 和方案 7 將殘差塊數(shù)量由 4 塊降低到 2 塊 在總體上維持原有準 確率的同時顯著的壓縮了模型的總體大小 3 2 與對照組比較 本研究采用的對照組網(wǎng)絡分別為 ResNet18 ResNet50 AlexNet VGG16 和 SqueezeNet 其中對照 組模型最終分類層均為 15 類 由表 3 可知本研究提出 Multi scale ResNet 的模型整體大小比對照組的幾種網(wǎng) 絡都小 在數(shù)據(jù)集 1 中訓練集上識別準確率基本與 VGG16 持平 僅比 ResNet18 減少 2 左右 在數(shù)據(jù)集 2 中訓練集上的識別準確率僅比 ResNet18 減少 1 5 但是本模型尺寸比 ResNet18 尺寸縮小 35 21 模型訓 練參數(shù)比 ResNet18 減少 93 左右 顯著的精簡了模型 尺寸 剩余幾種對照組網(wǎng)絡在模型大小和模型準確率 方面都不及本網(wǎng)絡 并且 2 個數(shù)據(jù)集上 Multi scale ResNet 訓練達到最高識別準確率所用時間僅比 SqueezeNet 慢 由圖 3 可知 Multi scale ResNet 的準 確率和參數(shù)量之間的差值 準確率與模型所占內(nèi)存之 間的差值在對照組中均為最大 由圖 4 可知本網(wǎng)絡在 數(shù)據(jù)集 1 中訓練集上損失值下降的過程十分平滑 在 數(shù)據(jù)集 2 中訓練集和驗證集上損失值下降和準確率上 升過程都較為平滑 沒有出現(xiàn)大范圍損失值震蕩的現(xiàn) 象 因此 Multi scale ResNet 在兼顧了模型準確率的同 時實現(xiàn)了模型的精簡和壓縮 為模型在硬件受限的場 景下部署奠定了基礎 圖 3 模型參數(shù)量 大小和準確率對比 Fig 3 Comparison of models parameter quantity size and accuracy 表 3 對照組模型對比 Table 3 Comparison of control group models 訓練集最高準確率訓練用時 Training time of the training set s highest recognition accuracy s 模型 Models 模型訓練參數(shù) Model training parameters 模型整體大小 Overall model size MB 數(shù)據(jù)集 1 中驗證集最高 準確率 Highest recognition accuracy of the validation set in dataset 1 數(shù)據(jù)集 2 中測試集平均 準確率 Average recognition accuracy of the test set in dataset 2 數(shù)據(jù)集 1 Dataset 1 數(shù)據(jù)集 2 Dataset 2 ResNet18 11 184 207 106 02 97 65 96 77 2 427 1 416 ResNet50 23 538 767 376 92 97 01 93 55 6 896 1 818 AlexNet 57 065 295 226 63 94 48 89 33 2 407 1 306 VGG16 134 321 999 731 75 95 94 83 87 6 964 1 433 SqueezeNet 743 119 92 66 85 92 82 13 1 261 1 128 Multi scale ResNet 755 055 68 75 95 71 93 05 1 305 1 177 農(nóng)業(yè)工程學報 http www tcsae org 2020 年 214 a 對照組模型在數(shù)據(jù)集 1 中訓練集上的最高識別 準確率 a Highest recognition accuracy of the control group on the training set in dataset 1 b 對照組模型在數(shù)據(jù)集 1 中訓練集上的損失值 b Loss values of control group on the training set in dataset 1 c 對照組模型在數(shù)據(jù)集 2 中訓練集上的最高識別 準確率 c Highest recognition accuracy of the control group on the training set in dataset 2 d 對照組模型在數(shù)據(jù)集 2 中訓練集上的損失值 d Loss values of control group on the training set in dataset 2 e 對照組模型在數(shù)據(jù)集 2 中驗證集上的最高識別 準確率 e Highest recognition accuracy of the control group on the validation set in dataset 2 f 對照組模型在數(shù)據(jù)集 2 中驗證集上的損失值 f Loss values of control group on the validation set in dataset 2 圖 4 Multi scale ResNet 與對照組模型在數(shù)據(jù)集 1 和數(shù)據(jù)集 2 中最高識別準確率和損失值對比 Fig 4 Comparison of highest recognition accuracy and loss values between Multi scale ResNet and control group in dataset 1 and dataset 2 4 結果與分析 將 Multi scale ResNet 模型分別應用到數(shù)據(jù)集 1 和數(shù) 據(jù)集 2 中的測試集上 得出混淆矩陣 A 圖 5 和混淆矩 陣 B 圖 6 其中 混淆矩陣 A 包含了簡單背景下數(shù) 據(jù)集 1 中測試集中預測正確和錯誤的樣本圖像數(shù) 混 淆矩陣 B 包含了復雜背景下數(shù)據(jù)集 2 中測試集中預測 正確和錯誤的樣本圖像數(shù) 在混淆矩陣中 主對角線 數(shù)字為預測正確樣本圖像數(shù)量 其他位置的數(shù)字為預 測錯誤樣本圖像數(shù)量 由圖 5 可知 混淆矩陣 A 中顯示了數(shù)據(jù)集 1 中測試 集上每一類病害的識別準確率和每種類別被錯分的情 況 其中可以發(fā)現(xiàn)種類 8 番茄晚疫病 和種類 12 番 茄輪斑病 的識別錯誤率較高 結合混淆矩陣可以發(fā)現(xiàn) 錯分種類分別為 4 5 6 7 8 10 11 從總體來看 其他種類被分為種類 8 和種類 12 的情況頻繁發(fā)生 分析 原始數(shù)據(jù)集發(fā)現(xiàn)被錯分的病害種類中 類間差異小 類 內(nèi)差異大是病害被錯分的最主要原因 如圖 7a 圖 7c 所 示為種類 8 番茄晚疫病的部分樣本圖像 在發(fā)病早期病 葉并沒有什么明顯的變化 在發(fā)病中期和發(fā)病晚期與發(fā) 病早期有明顯不同 發(fā)病中期出現(xiàn)病斑 到發(fā)病晚期病 葉大范圍枯萎 并且出現(xiàn)變色現(xiàn)象 如圖 7d 圖 7f 所示 為種類 11 番茄二斑葉螨病 和種類 6 番茄早疫病 中被預測為種類 12 番茄輪斑病 的病害圖像 可以發(fā)現(xiàn) 注 0 為土豆健康 1 為土豆早疫病 2 為土豆晚疫病 3 為辣椒健康 4 為 辣椒瘡痂病 5 為番茄細菌性斑點病 6 為番茄早疫病 7 為番茄健康 8 為番茄晚疫病 9 為番茄葉霉病 10 為番茄斑枯病 11 為番茄二斑葉螨病 12 為番茄輪斑病 13 為番茄病毒病 14 為番茄黃曲病 主對角線數(shù)字為預 測正確圖像數(shù)量 其他數(shù)字為預測錯誤圖像數(shù)量 Note 0 is potato healthy 1 is potato early blight 2 is potato late blight 3 is pepper healthy 4 is pepper scab 5 is tomato bacterial spot 6 is tomato early blight 7 is tomato healthy 8 is tomato late blight 9 is tomato leaf mold 10 is tomato septoria leaf spot 11 is tomato two spotted spider mite 12 is tomato target spot 13 is tomato virus 14 is tomato yellow leaf curl virus Numbers on the main diagonal are the amount of correct prediction images and the other numbers are the amount of false prediction images 圖 5 數(shù)據(jù)集 1 中測試集的混淆矩陣 A Fig 5 Confusion matrix A of the test set in dataset 1 第 20 期 王春山等 改進 Multi scale ResNet 的蔬菜葉部病害識別 215 3 種病害癥狀表現(xiàn)十分相似 人工也很難辨別 但 15 種 病害的平均識別準確率為 95 95 在不引入遷移學習的 前提下基本滿足蔬菜葉部病害檢測要求 注 0 為番茄健康 1 為番茄白粉病 2 為番茄早疫病 3 為黃瓜健康 4 為 黃瓜白粉病 5 為黃瓜病毒病 6 為黃瓜霜霉病 主對角線數(shù)字為預測正確 圖像數(shù)量 其他數(shù)字為預測錯誤圖像數(shù)量 Note 0 is tomato health 1 is tomato powdery mildew 2 is tomato early blight 3 is cucumber health 4 is cucumber powdery mildew 5 is cucumber virus disease 6 is cucumber downy mildew Numbers on the main diagonal are the amount of correct prediction images and the other numbers are the amount of false prediction images 圖 6 數(shù)據(jù)集 1 中測試集的混淆矩陣 B Fig 6 Confusion matrix B of the test set in dataset 2 相同病害類別不同癥狀 Different symptoms in the same disease category a 晚疫病早期 b 晚疫病中期 c 晚疫病晚期 a Early stage of late blight b Middle stage of late blight c Late stage of late blight 相同癥狀不同病害類別 Different disease category with the same symptoms d 二斑葉螨病 e 輪斑病 f 早疫病 d Two spotted spider mite e Target spot f Early blight 圖 7 簡單背景下數(shù)據(jù)集 1 中測試集被錯分的典型番茄病害 Fig 7 Typical diseases of tomato misclassified of the test set in dataset 1 under simple background 由圖 6 可知 混淆矩陣 B 中顯示了數(shù)據(jù)集 2 中測試 集上每一類病害的識別準確率和每種類別被錯分的情 況 其中可以發(fā)現(xiàn)種類 1 番茄白粉病 的識別準確率最 低 并且被錯分的圖像中大部分被錯分為種類 2 番茄早 疫病 經(jīng)過分析發(fā)現(xiàn)種類 1 和種類 2 在數(shù)據(jù)整體分布 上呈現(xiàn)相似性 即類間差異小 如圖 8 所示 2 種類別的 葉片均錯綜復雜的鋪滿整張圖像 最終數(shù)據(jù)集 2 中測試 集的平均識別準確率為 93 05 較簡單背景的數(shù)據(jù)集 1 中測試集的準確率有所下降 本研究使用 2 種數(shù)據(jù)集訓練得到的模型互相測試 發(fā)現(xiàn)使用復雜背景圖像訓練測試簡單背景圖像得到的識 別準確率會比使用簡單背景圖像訓練測試復雜背景圖像 得到的識別準確率高 但是兩者得到的識別準確率均在 30 以下 在模型應用到實際生產(chǎn)中時應該盡可能的使模 型的訓練集和測試集服從獨立同分布 使得模型能夠發(fā) 揮最大的功效 a 早疫病 b 白粉病 a