基于卷積神經(jīng)網(wǎng)絡(luò)的溫室黃瓜病害識(shí)別系統(tǒng).pdf

第 34卷 第 12期 農(nóng) 業(yè) 工 程 學(xué) 報(bào) V ol.3 4 N o.12 186 2018年 6月 Transactions of the Chinese Society of Agricultural Engineering Jun. 2018 基于卷積神經(jīng)網(wǎng)絡(luò)的溫室黃瓜病害識(shí)別系統(tǒng) 馬浚誠 1 ，杜克明 1 ，鄭飛翔 1 ，張領(lǐng)先 2 ，孫忠富 1（1. 中國農(nóng)業(yè)科學(xué)院農(nóng)業(yè)環(huán)境與可持續(xù)發(fā)展研究所，北京 100081； 2. 中國農(nóng)業(yè)大學(xué)信息與電氣工程學(xué)院，北京 100083） 摘 要：基于圖像處理和深度學(xué)習(xí)技術(shù)，該研究構(gòu)建了一個(gè)基于卷積神經(jīng)網(wǎng)絡(luò)的溫室黃瓜病害識(shí)別系統(tǒng)。針對(duì)溫室現(xiàn)場(chǎng) 采集的黃瓜病害圖像中含有較多光照不均勻和復(fù)雜背景等噪聲的情況，采用了一種復(fù)合顏色特征（combinations of color features，CCF）及其檢測(cè)方法，通過將該顏色特征與傳統(tǒng)區(qū)域生長(zhǎng)算法結(jié)合，實(shí)現(xiàn)了溫室黃瓜病斑圖像的準(zhǔn)確分割?；?于溫室黃瓜病斑圖像，構(gòu)建了溫室黃瓜病害識(shí)別分類器的輸入數(shù)據(jù)集，并采用數(shù)據(jù)增強(qiáng)方法將輸入數(shù)據(jù)集的數(shù)據(jù)量擴(kuò)充 了 12倍?；跀U(kuò)充后的數(shù)據(jù)集，構(gòu)建了基于卷積神經(jīng)網(wǎng)絡(luò)的病害識(shí)別分類器并利用梯度下降算法進(jìn)行模型訓(xùn)練、驗(yàn)證與 測(cè)試。系統(tǒng)試驗(yàn)結(jié)果表明，針對(duì)含有光照不均勻和復(fù)雜背景等噪聲的黃瓜病害圖像，該系統(tǒng)能夠快速、準(zhǔn)確的實(shí)現(xiàn)溫室 黃瓜病斑圖像分割，分割準(zhǔn)確率為 97.29%；基于分割后的溫室黃瓜病斑圖像，該系統(tǒng)能夠?qū)崿F(xiàn)準(zhǔn)確的病害識(shí)別，識(shí)別準(zhǔn) 確率為 95.7%，其中，霜霉病識(shí)別準(zhǔn)確率為 93.1%，白粉病識(shí)別準(zhǔn)確率為 98.4%。 關(guān)鍵詞：溫室；病害；識(shí)別；卷積神經(jīng)網(wǎng)絡(luò)；病斑分割 doi：10.11975/j.issn.1002-6819.2018.12.022 中圖分類號(hào)：S436.36 TN941.1 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1002-6819(2018)-12-0186-07 馬浚誠，杜克明，鄭飛翔，張領(lǐng)先，孫忠富. 基于卷積神經(jīng)網(wǎng)絡(luò)的溫室黃瓜病害識(shí)別系統(tǒng)J. 農(nóng)業(yè)工程學(xué)報(bào)， 2018， 34(12)： 186192. doi：10.11975/j.issn.1002-6819.2018.12.022 http:/www.tcsae.org Ma Juncheng, Du Keming, Zheng Feixiang, Zhang Lingxian, Sun Zhongfu. Disease recognition system for greenhouse cucumbers based on deep convolutional neural networkJ. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(12):186192.(in Chinese with English abstract) doi： 10.11975/j.issn.1002- 6819.2018.12.022 http:/www.tcsae.org 0 引 言病害是造成設(shè)施蔬菜品質(zhì)下降，農(nóng)民經(jīng)濟(jì)損失的主 要原因之一 1-3 。近年來，由于栽培技術(shù)創(chuàng)新不足等原因， 蔬菜病害發(fā)生面積越來越大、危害越來越嚴(yán)重 4 。隨著計(jì) 算機(jī)視覺和模式識(shí)別等技術(shù)的發(fā)展，利用先進(jìn)信息技術(shù) 輔助植物病害識(shí)別診斷研究，形成了一種由圖像分割、 特征提取和模式識(shí)別 3 個(gè)環(huán)節(jié)組成的固定模式，并取得 了一定的成果 5-10 。但是該模式過程相對(duì)復(fù)雜，對(duì)病斑特 征的依賴程度較高，例如，需要準(zhǔn)確的提取病斑圖像底 層特征、選擇對(duì)分類器貢獻(xiàn)率較高的分類特征。田間實(shí) 際環(huán)境中采集的病害圖像包含大量由光照條件不均勻和 復(fù)雜背景產(chǎn)生的噪聲，對(duì)病斑圖像分割、特征提取及選 擇的準(zhǔn)確率有較大的影響，導(dǎo)致病害識(shí)別的實(shí)時(shí)性、準(zhǔn) 確率較低，難以在實(shí)際應(yīng)用中推廣。深度學(xué)習(xí)是目前機(jī) 器學(xué)習(xí)領(lǐng)域的研究熱點(diǎn)，卷積神經(jīng)網(wǎng)絡(luò)作為目前最有效 的深度學(xué)習(xí)方法之一 11-16 ，為病害準(zhǔn)確識(shí)別診斷提供了 一種新的思路。 收稿日期：2018-01-08 修訂日期：2018-04-28 基金項(xiàng)目： “十三五”國家重點(diǎn)研發(fā)計(jì)劃(2016YFD0300606、 2017YFD0300401、2017YFD0300402) 作者簡(jiǎn)介：馬浚誠，助理研究員，博士，主要從事農(nóng)業(yè)物聯(lián)網(wǎng)、圖像處理研 究。E-mail: majunchengcaas.cn 通信作者： 杜克明， 助理研究員， 博士， 主要從事農(nóng)業(yè)物聯(lián)網(wǎng)研究。 E-mail: dukemingcaas.cn 該研究擬充分利用卷積神經(jīng)網(wǎng)絡(luò)以圖像作為輸入， 并且能夠從訓(xùn)練數(shù)據(jù)中自動(dòng)學(xué)習(xí)分類特征而不需要人工 特征提取的優(yōu)點(diǎn) 17 ，構(gòu)建一種基于卷積神經(jīng)網(wǎng)絡(luò)的溫室 黃瓜病害識(shí)別系統(tǒng)，以霜霉病和白粉病為例，將卷積神 經(jīng)網(wǎng)絡(luò)應(yīng)用到設(shè)施蔬菜病害識(shí)別研究中。以田間實(shí)際環(huán) 境中采集的病害圖像作為系統(tǒng)輸入，利用圖像分割方法， 獲取病斑圖像；在 Lenet5 結(jié)構(gòu)的基礎(chǔ)上，結(jié)合病斑圖像 數(shù)據(jù)的特點(diǎn)，構(gòu)建適用于溫室黃瓜病害識(shí)別的卷積神經(jīng) 網(wǎng)絡(luò)結(jié)構(gòu)，開展溫室黃瓜霜霉病和白粉病的識(shí)別研究。 1 病害識(shí)別系統(tǒng)設(shè)計(jì) 1.1 設(shè)計(jì)目標(biāo) 基于圖像處理與深度學(xué)習(xí)技術(shù)，結(jié)合溫室黃瓜病害 圖像的特點(diǎn)，該系統(tǒng)以溫室黃瓜病害葉片圖像為輸入， 旨在實(shí)現(xiàn)溫室黃瓜霜霉病和白粉病的準(zhǔn)確識(shí)別診斷，從 而為植保專家、農(nóng)民提供一種可靠、易用的溫室黃瓜病 害識(shí)別工具。 1.2 系統(tǒng)結(jié)構(gòu)功能設(shè)計(jì) 根據(jù)系統(tǒng)設(shè)計(jì)目標(biāo)，采用模塊化的思想進(jìn)行系統(tǒng)功 能設(shè)計(jì)，將系統(tǒng)功能劃分為病斑分割、病害識(shí)別和系統(tǒng) 管理 3 個(gè)模塊，如圖 1所示。 由圖 1 可知，病害識(shí)別系統(tǒng)中病斑圖像分割模塊的 主要功能是利用圖像處理的方法，從現(xiàn)場(chǎng)采集的溫室黃 瓜病害葉片圖像中提取霜霉病或白粉病的單個(gè)病斑圖 像，構(gòu)建病害識(shí)別分類器的輸入數(shù)據(jù)集。病害識(shí)別模塊 的主要功能包括對(duì)卷積神經(jīng)網(wǎng)絡(luò)的輸入數(shù)據(jù)集進(jìn)行數(shù)據(jù) 增強(qiáng)，構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)模型并進(jìn)行訓(xùn)練、驗(yàn)證和測(cè)試， 第 12期 馬浚誠等：基于卷積神經(jīng)網(wǎng)絡(luò)的溫室黃瓜病害識(shí)別系統(tǒng) 187 實(shí)現(xiàn)溫室黃瓜霜霉病和白粉病的識(shí)別。系統(tǒng)管理模塊主 要功能包括系統(tǒng)管理員對(duì)用戶相關(guān)信息及登錄權(quán)限的管 理，對(duì)系統(tǒng)日常事務(wù)管理和維護(hù)以及對(duì)數(shù)據(jù)庫的管理， 以提高系統(tǒng)的安全性和數(shù)據(jù)的完整性。 圖 1 病害識(shí)別系統(tǒng)功能模塊圖 Fig.1 Function modules of disease recognition system 1.3 病斑圖像分割方法 1.3.1 病斑圖像分割方法設(shè)計(jì) 蔬菜病害種類不同，其病斑也具有不同的特征。基 于計(jì)算機(jī)視覺進(jìn)行蔬菜病害識(shí)別，其關(guān)鍵在于提取病斑 的特征。在現(xiàn)場(chǎng)環(huán)境下采集的病害圖像中包含大量復(fù)雜 背景和光照不均勻等噪聲，并且通過觀察病害圖像可以 發(fā)現(xiàn)，病斑部分?jǐn)?shù)量多，面積小，在整個(gè)圖像中所占的 比例低 8 。 如果直接以現(xiàn)場(chǎng)環(huán)境下采集的病害圖像作為病 害識(shí)別分類器的輸入，由于受到噪聲的干擾，分類器難 以準(zhǔn)確獲取病斑特征，導(dǎo)致識(shí)別準(zhǔn)確率低。因此該系統(tǒng) 病害識(shí)別分類器以病斑圖像作為輸入，借助圖像分割方 法從病害圖像中提取病斑圖像。 圖2 病斑圖像分割算法流程圖 Fig.2 Flow chart of disease symptom image segmentation 顏色特征是區(qū)分溫室黃瓜病斑與正常葉片的最直接 特征，但顏色特征極易受到光照條件的影響 8,18-21 。在田 間實(shí)際情況下采集的黃瓜病害圖像中，背景復(fù)雜、光照 不均勻等噪聲是難以避免的，因此病斑圖像分割方法需 要在克服光照條件不均勻和復(fù)雜背景的干擾下，準(zhǔn)確分 割病斑圖像。 基于以上分析， 該研究將超紅特征 22 （excess red, ExR） 、 H分量（HSV顏色空間）和 B分量（CIELAB 顏色空間） 3種顏色特征結(jié)合，提出一種復(fù)合顏色特征及 其檢測(cè)方法，在此基礎(chǔ)上，綜合考慮病斑圖像分割方法 的要求和下一步病害識(shí)別的數(shù)據(jù)需求特點(diǎn)，基于復(fù)合顏 色特征，結(jié)合區(qū)域生長(zhǎng)算法進(jìn)行病斑分割。由于該系統(tǒng) 病斑分割的目的是為卷積神經(jīng)網(wǎng)絡(luò)提供數(shù)據(jù)，分割結(jié)果 對(duì)后續(xù)識(shí)別的準(zhǔn)確性有較大的影響，因此首先要確保分 割方法的準(zhǔn)確性；其次在系統(tǒng)實(shí)際應(yīng)用中，需要從病害 圖像中快速提取病斑，因此對(duì)分割方法的效率也有一定 的要求。如果采用自動(dòng)選擇種子點(diǎn)的方式，為確保分割 的準(zhǔn)確性，勢(shì)必會(huì)增加分割方法的復(fù)雜程度和計(jì)算量， 從而降低分割方法的效率。因此，該系統(tǒng)采用人機(jī)交互 的方式在特征圖中選擇區(qū)域生長(zhǎng)種子點(diǎn)，實(shí)現(xiàn)病斑圖像 的分割。病斑圖像分割僅用于構(gòu)建分類器輸入數(shù)據(jù)集， 模型訓(xùn)練、測(cè)試完成后，系統(tǒng)實(shí)際應(yīng)用過程中可直接調(diào) 用已訓(xùn)練好的識(shí)別模型，不再需要大量人機(jī)交互工作。 1.3.2 病斑圖像分割方法實(shí)現(xiàn) 基于以上分析，該研究病斑圖像分割方法具體算法 流程如圖 2 所示。 在獲取原始 RGB 圖像后，計(jì)算原始圖像的超紅特征 I ExR ，超紅特征計(jì)算方法見式（1） ，在計(jì)算超紅特征后， 將原始 RGB 圖像分別轉(zhuǎn)換到 HSV 顏色空間和 CIELAB 顏色空間，提取 H 分量和 B分量。 ExR 1.3 RG II I =- （1） 式中 I R ，I G ，I B 為 RGB顏色空間 3個(gè)顏色分量值。 在獲取 3 個(gè)顏色特征分量后，采用高斯差分濾波 （difference of Gaussian，DoG）和圓形區(qū)域均值濾波對(duì) ExR、 H 分量和 B 分量 3個(gè)顏色特征圖像進(jìn)行二維離散卷 積操作，實(shí)現(xiàn) CCF 檢測(cè)并生成 CCF 特征圖，計(jì)算方法見 式（2） 23-24 。 (:, , ,) ( *) * HL HL E x Rr HL A Br fIr I P DoG I I P aa= （，）（2） 式中 I 為輸入圖像， I ExR 為 ExR特征圖像， I LAB 為 B顏色 分量圖像，I H 為 H 顏色分量圖像，P r 為半徑為 r 的圓形 區(qū)域均值濾波器， H 、 L 為高斯差分濾波器標(biāo)準(zhǔn)差， 為 ExR參數(shù)， 取值范圍為 （0,1， 通過試驗(yàn)確定， 取值為0.1 23 ， *為二維離散卷積操作。CCF可由式（3）計(jì)算得出。 CCF=exp(- ( : , , , ) HL fIr （3） 式中 為下降速率參數(shù)。 在 CCF 特征圖的基礎(chǔ)上，通過人機(jī)交互的方式選擇 種子點(diǎn)進(jìn)行病斑圖像分割，得到初始分割結(jié)果。對(duì)初始 分割結(jié)果二值圖進(jìn)行形態(tài)學(xué)處理，優(yōu)化分割結(jié)果。將優(yōu) 化的分割結(jié)果與原圖像進(jìn)行掩碼運(yùn)算得到最終病斑分割 結(jié)果。 1.4 卷積神經(jīng)網(wǎng)絡(luò)模型構(gòu)建 一個(gè)常見的卷積神經(jīng)網(wǎng)絡(luò)通常由卷積層、池化層、 農(nóng)業(yè)工程學(xué)報(bào)（http:/www.tcsae.org） 2018年 188 ReLU 層和全連接層組成 13-14,25-26 。該系統(tǒng)卷積神經(jīng)網(wǎng)絡(luò) 結(jié)構(gòu)主要參考了 Lenet5 結(jié)構(gòu) 27 。Lenet5 結(jié)構(gòu)對(duì)數(shù)據(jù)量相 對(duì)較小的訓(xùn)練數(shù)據(jù)集有較好的處理能力，并且易于實(shí) 現(xiàn)，識(shí)別效率較高 13 。在 Lenet5 結(jié)構(gòu)的基礎(chǔ)上，結(jié)合設(shè) 施蔬菜病斑圖像數(shù)據(jù)特點(diǎn)，對(duì)網(wǎng)絡(luò)的結(jié)構(gòu)和參數(shù)進(jìn)行了 調(diào)整和優(yōu)化。由于設(shè)施蔬菜病斑的面積較小，且數(shù)量較 多 8 ，考慮到卷積網(wǎng)絡(luò)運(yùn)行的效率，輸入層病斑圖像應(yīng)選 擇相對(duì)合適的尺寸。該系統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖 3 所 示。從圖中可以看出，卷積神經(jīng)網(wǎng)絡(luò)以溫室黃瓜病斑 RGB 圖像作為輸入，輸入圖像尺寸為 20×20×3（寬 20 像素， 高 20 像素，3 個(gè)顏色通道） ，共包含 3個(gè)模塊。第 1模塊 包含 1 個(gè)卷積層、1個(gè) ReLU 層和 1 個(gè)池化層。卷積層中 的卷積核尺寸通常為 3×3 像素或 5×5 像素等，在卷積 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中較淺層次的卷積層中采用相對(duì)較大的卷 積核，能夠充分獲取輸入圖像的特征，提高卷積運(yùn)算的 效果 28 。該系統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中，第 1 模塊卷積層 采用 20 個(gè)大小為 5×5 的卷積核，用于提取輸入數(shù)據(jù)的 特征，生成相應(yīng)的特征圖。池化層卷積核的大小為 2×2， 步長(zhǎng)為 2，通過最大降采樣（max pooling）方法，減小特 征圖的大小，從而降低參數(shù)的數(shù)量和網(wǎng)絡(luò)的計(jì)算量，控 制過擬合現(xiàn)象的產(chǎn)生。第 2 模塊包含 1 個(gè)卷積層、1 個(gè) ReLU 層和 1 個(gè)池化層。卷積層采用 100 個(gè)大小為 3×3 的卷積核，池化層的大小和步長(zhǎng)與第 1 模塊相同。第 3 模塊包含 2 個(gè)全連接層，將卷積后生成的特征圖轉(zhuǎn)化為 一維向量作為分類器的輸入，全連接層的神經(jīng)元個(gè)數(shù)分 別為 1 000 和 1 500。輸出層包含 2個(gè)神經(jīng)元，分別代表 溫室黃瓜霜霉病和白粉病，輸出層分類函數(shù)采用 softmax 函數(shù)。注：320×20 代表 3 幅 20×20 像素的特征圖，余同。卷積層 1 中卷積核大小為 5×5，數(shù)量為 20，卷積層 2 中卷積核大小為 3×3，數(shù)量為 100；全連接層 1 和全連接層 2 中神經(jīng)元個(gè)數(shù)分別為 1 000和 1 500。局部連接采用 ReLU 激活函數(shù)實(shí)現(xiàn)。 Note: 320×20 represents 3 images with 20 × 20 pixels, the same as others. Conv1 had 20 filters with a size of 5×5, Conv2 had 100 filters with a size of 3×3. Number of neurons for fully connected layer 1 and fully connected layer 2 are 1000, 1500 respectively. Local connectivity is implemented by the rectified linear unit (ReLU) function. 圖 3 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) Fig.3 Architecture of CNN model 2 試驗(yàn)結(jié)果與分析 該系統(tǒng)溫室黃瓜病害圖像分割算法采用 Matlab 2014a 編程實(shí)現(xiàn)；基于卷積神經(jīng)網(wǎng)絡(luò)的病害識(shí)別模型是在 MatConvNet 29 深度學(xué)習(xí)框架的基礎(chǔ)上，采用 Matlab 2014a 編程實(shí)現(xiàn)；病害識(shí)別系統(tǒng)采用 Matlab 2014a 與 Microsoft Visual C + + 編程實(shí)現(xiàn)。 2.1 病斑分割 病斑分割試驗(yàn)采用的溫室黃瓜病害數(shù)據(jù)包含 93幅霜 霉病圖像和 77 幅白粉病圖像，其中 24 幅霜霉病圖像來 源于網(wǎng)絡(luò)，其他病害圖像采集于天津市農(nóng)科院植保所農(nóng) 業(yè)創(chuàng)新基地日光溫室 5 號(hào)棚，圖像均采集于晴天，采集 日期是 2016 年 4 月，采集時(shí)間為 08： 00 點(diǎn)至 17： 00 點(diǎn)。 部分圖像示例如圖 4 所示。在進(jìn)行圖像分析前，將所有 圖像的尺寸統(tǒng)一調(diào)整為 800×600（寬 800 像素，高 600 像素） ，以提高系統(tǒng)的運(yùn)行速度，降低運(yùn)算量。在病斑分 割模塊中（圖 5） ，導(dǎo)入的溫室黃瓜病害原始圖像顯示在 右下側(cè)輸入圖像面板中。 a. 霜霉病 b. 白粉病 a. D ow ny m ilde w b. Pow de ry m ilde w 圖4 溫室黃瓜病害圖像 Fig.4 Disease images of greenhouse cucumber 圖5 病斑圖像分割模塊 Fig.5 Module of disease symptom image segmentation 第 12期 馬浚誠等：基于卷積神經(jīng)網(wǎng)絡(luò)的溫室黃瓜病害識(shí)別系統(tǒng) 189 導(dǎo)入圖像后，系統(tǒng)根據(jù)式（2） 、式（3）計(jì)算導(dǎo)入圖 像的 CCF 特征圖，并顯示在 CCF 特征圖面板中，其中式 （2） 、式（3）中采用的相關(guān)參數(shù)的取值為： H =5、 L =4， r=3，=3。獲得 CCF 特征圖后，通過在 CCF 特征圖上 手動(dòng)選擇種子點(diǎn)，系統(tǒng)采用區(qū)域生長(zhǎng)方法分割溫室黃瓜 葉片上的病斑圖像，相應(yīng)的分割結(jié)果顯示在分割結(jié)果面 板及二值圖面板中。 利用采集的霜霉病和白粉病圖像進(jìn)行病斑圖像分割 算法試驗(yàn)，從分割結(jié)果 CCF 特征圖（圖 6b）中可以看出 該系統(tǒng)采用的 CCF 特征能夠有效的區(qū)分病斑區(qū)域與 正常葉片、背景，同時(shí)該方法還具有較強(qiáng)的魯棒性， 在不同光照條件下，依然能夠準(zhǔn)確、有效的提取病斑。 從分割結(jié)果圖 6c 和圖 6d 中可以看出，基于 CCF 特征與 區(qū)域生長(zhǎng)的分割方法，能夠準(zhǔn)確的提取霜霉病病斑圖像 和白粉病病斑圖像。 為進(jìn)一步驗(yàn)證該系統(tǒng)分割方法的有效性，選擇 K 均 值聚類和 OTSU 算法開展分割效果對(duì)比試驗(yàn)。對(duì)比試驗(yàn) 中 ， K均值聚類方法采用 HSV顏色空間 H分量和 CIELAB 顏色空間 B量實(shí)現(xiàn)，OTSU 閾值分割方法采用 HSV顏色 空間 H 分量和自適應(yīng)閾值實(shí)現(xiàn)，對(duì)比結(jié)果如圖 7所示。 a. 原圖 b. CCF 特征圖 c. 二值圖 d. 分割結(jié)果 a.Original images b. CCF maps c. Binary images d. Segmentation results 圖6 病斑分割結(jié)果 Fig.6 Results of disease symptom image segmentation a. 原圖 b. K均值聚類 c. OTSU閾值法 d. 該文方法 a. Original images b. K-means clustering c. OTSU thresholding d. Proposed method 圖7 不同病斑分割方法結(jié)果對(duì)比 Fig.7 Results comparison of different disease symptom image segmentation methods 從圖 7 中可以明顯看出，K 均值聚類方法和 OTSU 閾值分割方法受到了光照條件不均勻和復(fù)雜背景的影 響，均難以從病害圖像中準(zhǔn)確的分割病斑。受到光照影 響比較嚴(yán)重的部分，很容易被誤判為病斑部分，并且圖 像中的復(fù)雜背景也降低了分割結(jié)果的準(zhǔn)確率。相比較而 言，該系統(tǒng)病斑分割方法展示出了良好的分割效果及魯 棒性。為進(jìn)一步評(píng)價(jià)分割方法的準(zhǔn)確性，采用分割準(zhǔn)確率 對(duì)分割效果進(jìn)行定量評(píng)價(jià)，分割準(zhǔn)確率的公式見式 （4） 21,30 ， 分割準(zhǔn)確率的數(shù)值越大，表明分割效果越好。 p pp T P TF = （4） 式中 P 為分割準(zhǔn)確率，T P 為正確分割的病斑像素比例， F P 為錯(cuò)誤分割的病斑像素比例。 3 種分割方法（該文方法、K 均值聚類方法和 OTSU 閾值分割方法）的準(zhǔn)確率分別為：97.29%、63.64%和 56.31%，此結(jié)果為 170 幅溫室黃瓜病害圖像分割準(zhǔn)確率 的平均值。從定量評(píng)價(jià)的結(jié)果來看，該系統(tǒng)分割方法的 準(zhǔn)確率明顯高于對(duì)比方法。分割結(jié)果表明，該系統(tǒng)采用 的病斑圖像分割方法，能夠在充分克服光照條件不均勻 和復(fù)雜背景的情況下，準(zhǔn)確的獲取病斑圖像，從而為下 一步基于卷積神經(jīng)網(wǎng)絡(luò)的病害識(shí)別提供準(zhǔn)確的數(shù)據(jù)源。 2.2 溫室黃瓜病害識(shí)別 圖 8 為病害識(shí)別模塊，該模塊可以實(shí)現(xiàn)數(shù)據(jù)集導(dǎo)入、 農(nóng)業(yè)工程學(xué)報(bào)（http:/www.tcsae.org） 2018年 190 數(shù)據(jù)增強(qiáng)、模型訓(xùn)練、驗(yàn)證和測(cè)試以及病害識(shí)別。在數(shù) 據(jù)集面板中，系統(tǒng)顯示了導(dǎo)入數(shù)據(jù)集每一類病害的數(shù)據(jù) 量。該系統(tǒng)基于卷積神經(jīng)網(wǎng)絡(luò)的病害識(shí)別分類器以溫室 黃瓜病斑圖像為輸入，病斑圖像由該系統(tǒng)病斑圖像分割 方法從溫室黃瓜病害葉片圖像中提取。 注：測(cè)試結(jié)果部分的混淆矩陣中，1、2 分別代表霜霉病、白粉病。 Note：In confusion matrix of test results, category 1 is downy mildew, category 2 is powdery mildew. 圖8 病害識(shí)別模塊 Fig.8 Module of disease recognition 在獲取溫室黃瓜病斑圖像后，經(jīng)過初步篩選，剔除 質(zhì)量相對(duì)較低的病斑圖像，構(gòu)建初始病斑圖像集，共包 含 747 幅病斑圖像，其中霜霉病 415幅，白粉病 332 幅。 由于卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練需要大量的訓(xùn)練數(shù)據(jù)，而該研 究通過病斑圖像分割方法構(gòu)建的病害圖像數(shù)據(jù)集的數(shù)據(jù) 量相對(duì)較小，為進(jìn)一步提高病害識(shí)別準(zhǔn)確率，避免過擬 合現(xiàn)象的發(fā)生，系統(tǒng)通過數(shù)據(jù)增強(qiáng)方法對(duì)病害數(shù)據(jù)集進(jìn) 行擴(kuò)充，擴(kuò)充結(jié)果顯示在右側(cè)數(shù)據(jù)增強(qiáng)面板中。由于該 系統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)的輸入圖像尺寸較小，因此數(shù)據(jù)增強(qiáng) 采用不會(huì)縮小輸入圖像尺寸的方法。該系統(tǒng)采用的數(shù)據(jù)增 強(qiáng)方法為：將原始病害圖像數(shù)據(jù)集分別旋轉(zhuǎn) 90°、180° 和 270°，然后進(jìn)行水平和垂直翻轉(zhuǎn)。通過數(shù)據(jù)增強(qiáng)方 法，能夠?qū)⒃紨?shù)據(jù)集擴(kuò)充 12 倍。數(shù)據(jù)增強(qiáng)后的病害圖 像數(shù)據(jù)集共包含 8 964 幅溫室黃瓜病斑圖像，其中霜霉病 4 980幅，白粉病 3 984幅（圖 8） 。在數(shù)據(jù)增強(qiáng)面板中， 系統(tǒng)顯示了每一類病害的數(shù)據(jù)量及用于訓(xùn)練、驗(yàn)證和測(cè) 試的數(shù)據(jù)量。 建立數(shù)據(jù)集后，系統(tǒng)采用梯度下降算法對(duì)卷積神經(jīng)網(wǎng) 絡(luò)進(jìn)行訓(xùn)練和驗(yàn)證，結(jié)果顯示在左側(cè)訓(xùn)練結(jié)果面板中。 Top1err和Top5err是2種評(píng)價(jià) CNN訓(xùn)練效果的常用指標(biāo) 14 ， Top1err 表明測(cè)試圖像不屬于 CNN 識(shí)別結(jié)果可能性最高 類別的錯(cuò)誤率，Top5err 表明測(cè)試圖像不屬于 CNN 識(shí)別 結(jié)果前 5 類別的錯(cuò)誤率。由于該系統(tǒng)識(shí)別的溫室黃瓜病 害種類為 2 種，因此系統(tǒng)僅采用 Top1err 作為評(píng)價(jià)標(biāo)準(zhǔn)。 如圖 8 所示，該系統(tǒng)病害識(shí)別分類器訓(xùn)練集和驗(yàn)證集的 Top1err 僅為 5.8%和 6.4%，訓(xùn)練結(jié)果比較理想。 模型訓(xùn)練完成后，系統(tǒng)會(huì)采用測(cè)試數(shù)據(jù)集對(duì)模型進(jìn) 行測(cè)試，測(cè)試結(jié)果顯示在測(cè)試結(jié)果面板中。為評(píng)價(jià)病害 識(shí)別分類器的效果，該系統(tǒng)采用混淆矩陣作為評(píng)價(jià)方 法。從混淆矩陣中可以看出（圖 8） ，病害識(shí)別分類器正 確識(shí)別了 1 017 個(gè)霜霉病樣本，占全部測(cè)試數(shù)據(jù)集 2 136 個(gè)樣本的 47.6%；正確識(shí)別了 1 027 個(gè)白粉病樣本，占全 部測(cè)試數(shù)據(jù)集 2136 個(gè)樣本的 48.1%。 17 個(gè)白粉病樣本被 錯(cuò)誤識(shí)別為霜霉病，占全部測(cè)試數(shù)據(jù)集 2136 個(gè)樣本的 0.8%。75 個(gè)霜霉病樣本被錯(cuò)誤識(shí)別為白粉病，占全部測(cè) 試數(shù)據(jù)集 2136 個(gè)樣本的 3.5%。從混淆矩陣中可以看出， 該系統(tǒng)病害識(shí)別分類器的準(zhǔn)確率為 95.7%，其中，霜霉病 的識(shí)別準(zhǔn)確率為 93.1%，白粉病的識(shí)別準(zhǔn)確率為 98.4%。 從分類器測(cè)試的結(jié)果來看，該系統(tǒng)能夠準(zhǔn)確的識(shí)別溫室 黃瓜霜霉病和白粉病，準(zhǔn)確率基本滿足要求。 模型測(cè)試完成后，系統(tǒng)可以調(diào)用構(gòu)建的病害識(shí)別分 類器對(duì)輸入的病斑圖像進(jìn)行識(shí)別，并輸出病害類別及概 率，待識(shí)別的病斑圖像和識(shí)別結(jié)果顯示在識(shí)別結(jié)果面板中。 3 結(jié) 論 該研究基于圖像處理與深度學(xué)習(xí)技術(shù)，研發(fā)了一種 基于卷積神經(jīng)網(wǎng)絡(luò)的溫室黃瓜病害識(shí)別系統(tǒng)。主要結(jié)論 如下： 1）針對(duì)溫室現(xiàn)場(chǎng)采集的黃瓜霜霉病、白粉病圖像中 含有較多光照不均勻和復(fù)雜背景等噪聲的情況，該系統(tǒng) 采用了一種復(fù)合顏色特征，并結(jié)合區(qū)域生長(zhǎng)算法，實(shí)現(xiàn) 了溫室黃瓜病斑圖像的分割，分割準(zhǔn)確率達(dá)到了 97.29%， 為進(jìn)一步的病害識(shí)別提供了準(zhǔn)確的數(shù)據(jù)。 2）基于卷積神經(jīng)網(wǎng)絡(luò)，以溫室黃瓜病斑圖像作為輸 入，進(jìn)行了病害識(shí)別分類器試驗(yàn)。結(jié)果表明，該系統(tǒng)病 害識(shí)別準(zhǔn)確率為 95.7%，其中，霜霉病的識(shí)別準(zhǔn)確率為 93.1%，白粉病的識(shí)別準(zhǔn)確率為 98.4%，能夠滿足實(shí)際應(yīng) 用的要求。 該系統(tǒng)實(shí)現(xiàn)了溫室黃瓜霜霉病和白粉病的準(zhǔn)確識(shí) 別，隨著數(shù)據(jù)的進(jìn)一步獲取及識(shí)別方法研究的深入和完 善，系統(tǒng)會(huì)擴(kuò)充病害識(shí)別的種類，在現(xiàn)有基礎(chǔ)上進(jìn)一步 提升其應(yīng)用價(jià)值。 參 考 文 獻(xiàn) 1 Bai X, Li X, Fu Z, et al. A fuzzy clustering segmentation method based on neighborhood grayscale information for defining cucumber leaf spot disease images J. Computers and Electronics in Agriculture, 2017, 136: 157165. 2 Ma J, Li X, Wen H, et al. A key frame extraction method for processing greenhouse vegetables production monitoring video J. Computers and Electronics in Agriculture, 2015, 111: 92102. 3 王翔宇，李鑫星，張領(lǐng)先，等. 農(nóng)業(yè)主要病害檢測(cè)與預(yù)警 技術(shù)研究進(jìn)展分析J. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2016，47(9)：266 277. Wang Xiangyu, Li Xinxing, Zhang Lingxian, et al. Research progress analysis of mainly agricultural diseases detection and early warning technologiesJ. Transactions of the Chinese Society for Agricultural Machinery, 2016, 47(9): 266 277. (in Chinese with English abstract) 第 12期 馬浚誠等：基于卷積神經(jīng)網(wǎng)絡(luò)的溫室黃瓜病害識(shí)別系統(tǒng) 191 4 中國人民共和國國家發(fā)展和改革委員會(huì)，農(nóng)業(yè)部. 國家發(fā) 展改革委 農(nóng)業(yè)部關(guān)于印發(fā)全國蔬菜產(chǎn)業(yè)發(fā)展規(guī)劃(2011 2020年)的通知EB/OL http:/www.ndrc.gov.cn/fzgggz/ ncjj/zhdt/201202/t20120227_463486.html, 2012-02-22. 5 Zhang S, Wu X, You Z, et al. Leaf image based cucumber disease recognition using sparse representation classification J. Computers and Electronics in Agriculture, 2017, 134: 135141. 6 Zhang S, Zhu Y, You Z, et al. Fusion of superpixel, expectation maximization and PHOG for recognizing cucumber diseases J. Computers and Electronics in Agriculture, 2017, 140: 338347. 7 Du K, Sun Z, Li Y, et al. Diagnostic model for wheat leaf conditions using image features and a support vector machine J. Transactions of the ASABE, 2016, 59(5): 10411052. 8 馬浚誠，溫皓杰，張領(lǐng)先，等. 基于圖像處理的溫室黃瓜 霜霉病診斷系統(tǒng)J. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2017，48(2)：195 202. Ma Juncheng, Wen Haojie, Zhang Lingxian, et al. Downy mildew diagnosis system for greenhouse cucumbers based on image processingJ. Transactions of the Chinese Society for Agricultural Machinery, 2017, 48(2): 195202. (in Chinese with English abstract) 9 葉海建，郎睿. 基于 Android 的自然背景下黃瓜霜霉病定 量診斷系統(tǒng)J. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2017，48(3)：2429. Ye Haijian, Lang Rui. Cucumber downy mildew severity quantifying diagnosis system suitable for natural backgrounds based on android J. Transactions of the Chinese Society for Agricultural Machinery, 2017, 48(3): 24 29. (in Chinese with English abstract) 10 秦立峰，何東健，宋懷波. 詞袋特征 PCA多子空間自適應(yīng) 融合的黃瓜病害識(shí)別J. 農(nóng)業(yè)工程學(xué)報(bào)， 2018， 34(8)： 200 205. Qin Lifeng, He Dongjian, Song Huaibo. Bag of words feature multi-PCA subspace adaptive fusion for cucumber diseases identificationJ. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(8): 200205. (in Chinese with English abstract) 11 Ferreira A D S, Freitas D M, Silva G G D, et al. Weed detection in soybean crops using ConvNets J. Computers and Electronics in Agriculture, 2017, 143: 314324. 12 DeChant C, Wiesner-Hanks T, Chen S, et al. Automated Identification of Northern Leaf Blight-Infected Maize Plants from Field Imagery Using Deep Learning J. Phytopathology 2017,107: 142632. 13 Ding W, Taylor G. Automatic moth detection from trap images for pest management J. Computers and Electronics in Agriculture, 2016, 123: 1728. 14 Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networksC/ International Conference on Neural Information Processing Systems. Curran Associates Inc. 2012, 60 (2): 10971105. 15 高震宇，王安，劉勇，等. 基于卷積神經(jīng)網(wǎng)絡(luò)的鮮茶葉智 能分選系統(tǒng)研究J. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2017，48(7)：358. Gao Zhenyu, Wang An, Liu Yong, et al. Intelligent fresh-tea-leaves sorting system research based on convolution neural network J. Transactions of the Chinese Society for Agricultural Machinery, 2017, 48(7): 5358. (in Chinese with English abstract) 16 楊國國, 鮑一丹, 劉子毅. 基于圖像顯著性分析與卷積神 經(jīng)網(wǎng)絡(luò)的茶園害蟲定位與識(shí)別J. 農(nóng)業(yè)工程學(xué)報(bào), 2017, 33(6): 156162. Yang Guoguo, Bao Yidan, Liu Ziyi. Localization and recognition of pests in tea plantation based on image saliency analysis and convolutional neural network J. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(6): 156162. (in Chinese with English abstract) 17 Ghosal S, Blystone D, Singh A K, et al. An explainable deep machine vision framework for plant stress phenotypingJ. Proceedings of the National Academy of Sciences of the United States of America, 2018: 16. 18 Hernández-Hernández J L, García-Mateos G, González-Esquiva J M, et al. Optimal color space selection method for plant/soil segmentation in agriculture J. Computers and Electronics in Agriculture, 2016, 122: 124 132. 19 Hamuda E, Glavin M, Jones E. A survey of image processing techniques for plant extraction and segmentation in the fieldJ. Comput