專利：一種溫室生產環(huán)境下草莓白粉病快速檢測方法.pdf

19 國家知識產權局 12 發(fā)明 專利申請 10 申請公布號 43 申請公布日 21 申請 號 202210186362 9 22 申請日 2022 02 28 71 申請人 天津市農業(yè)科 學院 地址 300190 天津市南 開區(qū)白堤路268號 72 發(fā)明人 李揚 田濤 程文娟 腰彩紅 閆松 于洋 宋治 文 王建春 74 專利代理 機構 天津翰林知識產權代理事務 所 普通 合 伙 12 210 專利代理師 付長杰 51 Int Cl G06T 7 00 2017 01 G06K 9 62 2022 01 G06N 3 04 2006 01 G06N 3 08 2006 01 G06T 7 11 2017 01 G06T 7 194 2017 01 G06T 7 62 2017 01 54 發(fā)明名稱 一種溫室生產環(huán)境下草莓白粉病快速檢測 方法 57 摘要 本發(fā)明為一種溫室生產環(huán)境下草莓白粉病 快速檢測方法 該方法包括 采集溫室草莓生產 環(huán)境下不同光照條件下白粉病發(fā)病葉片背面圖 像 在背面圖像上按照病害 發(fā)病葉片 其他葉片 進行標注 構建DW YOLOv4網絡 網絡包 括骨干網 絡模塊和融合特征提取模塊兩部分 骨干網絡模 塊 使用五組基于深度可分離卷積的跨階段局部 網絡模塊進行串聯獲得 使用骨干網絡模塊中的 第3 4 5個基于深度可分離 卷積結構的跨階段局 部網絡的三個輸出特征圖作為輸入 形成三個尺 度不同的輸出特征圖 將采集到的圖像輸入到 DW YOLOv4網絡中實現草莓葉片白粉病病害區(qū)域 及發(fā)病葉片的檢測 解決了草莓白粉病發(fā)病初期 檢測難的問題 實現了草莓白粉病的快速檢測及 病情定級 權利要求書6頁 說明書18頁 附圖5頁 CN 114549494 A 2022 05 27 CN 114549494 A 1 一種溫室生產環(huán)境下草莓白粉病快速檢測方法 該 方法包括以下內容 采集溫室草莓生產環(huán)境下不同光照條件下白粉病發(fā)病葉片背面圖像 圖像背景為草莓 生長環(huán)境 在背面圖像上按照病害 發(fā)病葉片 其 他葉片進行 標注 制作數據集 構建DW YOLOv4網絡 網絡包括骨干網絡模塊和融合特 征提取模塊兩 部分 骨干網絡模塊 使用五組基于深度可分離卷積的跨階段局部網絡模塊DW CSPNet進行 串 聯獲得 其中 DW CSPNet包括通過卷積核 大小為3 3的卷積層下采樣 卷積核大小為1 1的卷積層壓縮或擴充通道 卷積核為3 3的深度可分離卷積 通道拼接 特 征圖求和操作 融合特征提取模塊 使用骨干網絡模塊中的第3 4 5個基于深度可分離卷積結構的跨 階段局部網絡DW CSPNet的三個輸出特征圖作為輸入 融合特征提取模塊包括最大池化 通 道拼接 卷積核大小為1 1的卷積層 上采樣 下采樣 最終形成三個尺度不同的輸出特征 圖 將采集到的圖像輸入到DW YOLOv4網絡中實現草莓葉片白粉病病害區(qū)域及發(fā)病葉片的 檢測 2 根據權利要求1所述的溫室生產環(huán)境下草莓白粉病快速檢測方法 其特征在于 根據 白粉病發(fā)病 病害區(qū)域 面積占發(fā)病葉片面積的占比得到病情指數 3 根據權利要求2所述的溫室生產環(huán)境下草莓白粉病快速檢測方法 其特征在于 所述 病情指數的具體 計算過程是 利用公式 24 計算融合調整系數的發(fā)病率 其中 a i表示第i片發(fā)病葉片的發(fā)病率 A表示病害的面積 j為第i片發(fā)病葉片上的第j個 發(fā)病點病害 n表示第i片發(fā)病葉片 上的發(fā)病點病害個數 B i表示第i片發(fā)病葉片面積 表示 葉片面積調整系數 葉片面積調整系數計算方法為 使用二值化和OTSU對標記的發(fā)病葉片部分提取綠色像 素 數除以發(fā)病葉片標記框像素 數 計算單個葉片的病情指數 將病情分為1 9級 當發(fā)病率小于5 時 病情級別為1 當 發(fā)病率在5 25 之間時 病情級別為3 當發(fā)病率在25 50 之間時 病情級別為5 當發(fā) 病率在50 75 之間時 病情級別為7 當發(fā)病率大于75 時 病情級別為9 具體公式如 下 其中 i表示第i片發(fā)病葉片 根據公式 26 計算整體病情指數 其中 N 為發(fā)病葉片個數 i 為第i片發(fā)病葉片 權 利 要 求 書 1 6 頁 2 CN 114549494 A 根據不同的發(fā)病程度通過經驗數據會給出相應的專家治療意見 不同病情指數對應相 應的專 家治療意見 4 根據權利要求2所述的溫室生產環(huán)境下草莓白粉病快速檢測方法 其特征在于 所述 葉片面積調整系數為0 6 0 7 5 根據權利要求1所述的溫室生產環(huán)境下草莓白粉病快速檢測方法 其特征在于 所述 基于深度可分離卷積的跨階段局部網絡DW CSPNet的流 程是 使用卷積核大小為3 3 步長為2 輸出通道數為C out的卷積層對輸入特征圖進行處理 之后分成兩個分支 第一個分支使用卷積核大小為1 1的卷積層壓縮通道 第二個分支使 用卷積核 大小為 1 1的卷積層壓縮通道 使用卷積核 大小為3 3的深度可分離卷積提取特 征 使用卷積核大小為1 1的卷積層擴充通道數 擴充通道數后的輸出與第二個分支壓縮 通道的結果進行加和 再將第二個分支的結果與第一個分支的結果進行通道拼接 使用卷 積核大小為1 1的卷積層壓縮通道 獲得輸出 特 征圖DW CS P 6 根據權利要求1所述的溫室生產環(huán)境下草莓白粉病快速檢測方法 其特征在于 所述 骨干網絡模塊的流 程是 輸入特征圖 使用三個基于深度可分離卷積的跨階段局部網絡 下采樣并擴充通道數 得到輸出特征圖DW CSP 1 輸出特征圖DW CSP 1一 方面直接輸出 另一 方面輸出至第四個基于 深度可分離卷積的跨階段局部網絡 下采樣并擴充通道數 得到輸出特征圖DW CSP 2 輸出 特征圖DW CSP 2一方面直接輸出 另一方面輸出至第五個基于深度可分離卷積的跨階段局 部網絡 下采樣并擴充通道數 得到輸出特征圖DW CSP 3 因此骨干網絡模塊共有三個輸出 分別為DW CS P1 DW CS P2和DW CS P3 7 根據權利要求1所述的溫室生產環(huán)境下草莓白粉病快速檢測方法 其特征在于 所述 融合特 征提取模塊用于對骨干網絡模塊的三個輸出進行融合 具體流 程是 對骨干網絡模塊的最后一個輸出特征圖使用卷積核大小為3 3的卷積層壓縮通道 之 后分別進 行步長為5 9 13的三個最大池化處理 這三個最大池化層為并聯關系即三者的輸 入均相同 再將三個最大池化處理后的結果與上一步3 3的卷積層壓縮通道后的結果進 行 通道拼接 再次使用卷積核大小為1 1的卷積層壓縮通道獲得特征圖D 4 3 特征圖D 4 3一方 面經上采樣后與骨干網絡模塊的第二個輸出特征圖進 行通道拼接 之后再經卷積核大小為 1 1的卷積層獲得特征圖D 4 4 特征圖D 4 4一方面經卷積核大小為1 1的卷積層壓縮通道后 進行上采樣 再與骨干網絡模塊的第一個輸出特征圖進行通道拼接 之后使用卷積核大小 為3 3的卷積層壓縮通道獲得特征圖D 4 5 特征圖D 4 5一方面使用卷積核大小為3 3 步長 為2的卷積層下采樣并擴充通道后再與特征圖D 4 4進 行通道 拼接 二者通道 拼接后的結果使 用卷積核大小為3 3的卷積層壓縮通道獲得特征圖D 4 6 特征圖D 4 6一方面使用卷積核大小 為3 3 步長為2的卷積層下采樣并擴充通道后再與特征圖D 4 3進行通道拼接 通道拼接后 的結果使用卷積核大小為3 3的卷積層壓縮通道獲得特征圖D 4 7 特征圖D 4 7經卷積核大小 為1 1的卷積層調整通道獲得輸出 特 征圖D 4 8 3 特征圖D 4 6另一方面也使用卷積核大小為1 1的卷積層調整通道獲得輸出特征圖 D4 8 2 特征圖D 4 5另一方面也使用卷積核大小為1 1的卷積層調整通道獲得輸出特征圖 D4 8 1 特 征圖D 4 8 3 特 征圖D 4 8 2 特 征圖D 4 8 1為融合特 征提取模塊的三個輸出 8 一種溫室生產環(huán)境下草莓白粉病快速檢測方法 該檢測方法的具體步驟是 權 利 要 求 書 2 6 頁 3 CN 114549494 A 第一 步 采集溫室生產環(huán)境下草莓葉片病害圖像數據 并制作數據集 第1 1步 在日光溫室草莓生產環(huán)境下 設置多個采樣點 采集不同光照條件真實生產 環(huán)境下 的草莓病害葉片背面圖像 采樣點應盡量覆蓋到了整個溫室 病害葉片背面需要人 工翻葉片 但是葉片不脫離植物 采樣的時候背景是包含非所觀察的病害葉片的其它葉片 的 第1 2步 基于采樣點抽選 找到發(fā)病葉片就采集 一旦發(fā)現病害發(fā)生 開始對觀測的每 株全部葉片進行分辨 拍照 全部圖像獲取均由專業(yè)人員人工觀測獲得 第1 3步 使用labelimg工具標注圖像 按照病害 powdery mildew 發(fā)病葉片 leaf with disease 其他葉片 leaf without disease 進行標注 即將病害所在位置框選出 來 將病害所在整個葉片即發(fā)病葉片框選 除發(fā)病葉片以外的肉眼可見 的葉片輪廓為其他 葉片將其框選出來 對于圖片中虛化嚴重的葉片 如果邊緣區(qū)域無法肉眼辨識 則不予標 記 第1 4步 生成數據集 將不同光照背景環(huán)境下采集標注后含病害的所有圖像制作數據 集 每張圖片會包含三種標注中的一個或多個 其中病害和發(fā)病葉片都至少會有一個 其他 葉片可能沒有 也可能有 多個 第二 步 圖像預處 理 第2 1步 將上述第1 4步得到數據集中的圖像作為輸入 通過亮數據增強手段進行處 理 并使用mosaic方法進行拼接 形成增強后圖像 第2 2步 將第 1步增強后圖像隨機縮放到 32的10 19倍進行訓練 第三步 使用基于深度可分離卷積的跨階段局部網絡 DW CSPNet 構建DW YOLOv4的骨 干網絡模塊 第3 1步 構建基于深度可分離卷積的跨階段局部網絡模塊 DW CSPNet 第3 1 1步 以上一步的輸出圖像D作為輸入 送入卷積核大小為3 3 步長為2 輸出通 道數為C out的下采樣層進行圖像處 理 形成特 征圖D 1 如公式 1 所示 其中 表示卷積核大小為3 3 步長為2 含歸一化和LeakyReLU激活函數的卷積操 作 第3 1 2步 處理后的結果分成2個分支 一個分支使用卷積核大小為1 1的卷積層壓 縮通道 形成特 征圖D 2 如公式 2 所示 D2 1 D1 2 其中 1表示卷積核大小為1 1 含 歸一 化和LeakyReLU激活函數的卷積 操作 第3 1 3步 另一個分支經過卷積 核大小 為1 1的卷積層壓縮通道 形 成特征圖D 3 使用 卷積核大小為3 3的深度可分離卷積和卷積核大小為1 1的卷積層對D 3進行特征提取 并 與D 3進行求和得到特 征圖D 4 如公式 3 所示 D3 1 D1 D4 1 3 D3 D3 3 其中 3表示3 3 含歸一化和LeakyReLU激活函數的深度可分離卷積操作 表示特征 圖求和操作 第3 1 4步 將D 2和D 4進行通道拼接后再使用卷積核大小為1 1的卷積層進行通道壓 縮 形成基于深度可分離卷積的跨階段局部網絡模塊的輸出特征圖DW CSP 具體如公 式 4 權 利 要 求 書 3 6 頁 4 CN 114549494 A 所示 將基于深度可分離卷積的跨階段局部網絡模塊記為f DW CSP 如公式 5 所示 DW CSP f DW CSP D 5 其中 表示特 征圖拼接操作 設輸入圖像D寬 高 通道數分別為w 0 h 0 c 0 通過DW CSPNet處理的特征圖維度發(fā)生改 變 輸出特征圖DW CSP的寬 高 通道數分別為w 0 2 h 0 2 c 0 即達到下采樣同時增加深度 的目的 第3 2步 構建DW YOLOv4的骨干網絡 五個基于深度 可分離卷積的跨階段局部網絡依次串聯 第 三個基于深度 可分離卷積的 跨階段局部網絡的輸出記為特征圖DW CSP 1 如公式 6 所示 第四個基于深度可分離卷積 的跨階段局部網絡的輸出記為特征圖DW CSP 2 如公式 7 所示 第五個基于深度可分離卷 積的跨階段局部網絡的輸出記為特征圖DW CSP 3 如公式 8 所示 特征圖DW CSP 1 特征圖 DW CSP2和特 征圖DW CS P3將作為輸入特 征圖 參與到第四步融合特 征提取模塊的計算 DW CSP1 f DW CSP fDW CSP fDW CSP D 6 DW CSP2 f DW CSP DW CSP1 7 DW CSP3 f DW CSP DW CSP2 8 其中 第一個 基于深度可分離卷積的跨階段局部網絡的輸出通道數為32 第四步 構建DW YOLOv4的融合特 征提取模塊 第4 1步 以DW CSP 3為輸入 使用3 3的卷積 進行通道壓縮 得到特征圖D 4 1 如公式 9 所示 D4 1 3 DW CSP3 9 其中 3表示卷積核大小為3 3 含 歸一 化和LeakyReLU激活函數的卷積 操作 第4 2步 對D 4 1進行步長為5 9 13的最大池化 將得到的結果與D 4 1進行通道拼接 得 到特 征圖D 4 2 如公式 10 所示 其中 5 9 13分別表示 步長為5 9 13的最大池化操作 第4 3步 使用1 1的卷積核對D 4 2進行通道壓縮 得到特 征圖D 4 3 如公式 1 1 所示 D4 3 1 D4 2 11 第4 4步 使用1 1的卷積 對D 4 3進行通道 壓縮后進行上采樣 與DW CSP 2進行通道拼接 再使用1 1的卷積核 進行通道壓縮 得到特 征圖D 4 4 如公式 12 所示 其中 為上采樣 操作 第4 5步 使用1 1的卷積 對D 4 4進行通道 壓縮后進行上采樣 與DW CSP 1進行通道拼接 再使用3 3的卷積核 進行通道壓縮 得到特 征圖D 4 5 如公式 13 所示 第4 6步 使用大小為3 3 步長為2的卷積核對D 4 5進行下采樣及通道擴充 與D 4 4拼接 后再使用3 3的卷積核 進行通道壓縮 得到特 征圖D 4 6 如公式 14 所示 權 利 要 求 書 4 6 頁 5 CN 114549494 A 第4 7步 使用大小為3 3 步長為2的卷積核對D 4 6進行下采樣及通道擴充 與D 4 3拼接 后再使用3 3的卷積核 進行通道壓縮 得到特 征圖D 4 7 如公式 15 所示 第4 8步 使用三個1 1的卷積分別對D 4 5 D4 6 D4 7調整輸出維度 形成最終特征圖 D4 8 1 D4 8 2 D4 8 3 如公式 16 所示 D4 8 1 1 D4 5 D4 8 2 1 D4 6 D4 8 2 1 D4 7 16 其中 卷積 1為卷積核大小為1 1的不含 歸一 化和LeakyReLU激活函數的卷積 操作 至此完成DW YOLOv4的融合特 征提取模塊的構建 第五步 使用結合CIOU和指數增 強二值交叉熵的損失函數計算第4 8步輸出的預測值 與實際值之間的損失 第4 8步輸出的預測值包括目標框中心 點坐標 寬度 高度 類別以及 置信度 總損失 公式為式 23 其中 為目標檢測任務的損失函數 為使用指數增強二值交叉熵表示類別預測 值與實際值的損失 為使用二 值交叉熵計算的置信度損失 第六步 對經損失計算后的模型 預測結果進行非極大值抑制NMS 并進行 結果調整 第6 1步 使用NMS對經損失計算后的模型預測結果進行處理 得出病害 powdery mildew 發(fā)病葉片 leaf with disease 其他葉片 leaf without disease 三類目標中 未超出NMS閾值的預測結果 包括目標框中心點 坐標 寬度 高度 類別以及置信度 第6 2步 對非極大值抑制后的預測結果進行調整 由于病害一定發(fā)生在葉片上 但第6 1步所獲得的預測結果并不一定會識別出發(fā)病葉 片 當圖片識別 出了病害 但沒有識別 出發(fā)病葉片時 將與病害的IoU最大的其他葉片類別 調整為 發(fā)病葉片 如果沒有任何葉片與 識別出的病害的IoU 0則剔除該發(fā)病點 確保全部檢 測出的病害都有發(fā)病葉片與之對應 骨干網絡模塊和融合特征提取模塊 損失計算和非極大值抑制并調整共同構成DW YOLOv4網絡 第七步 計算病情指數 病情指數的具體 計算過程是 利用公式 24 計算融合調整系數的發(fā)病率 其中 a i表示第i片發(fā)病葉片的發(fā)病率 A表示病害的面積 j為第i片發(fā)病葉片上的第j個 發(fā)病點病害 n表示第i片發(fā)病葉片 上的發(fā)病點病害個數 B i表示第i片發(fā)病葉片面積 表示 葉片面積調整系數 葉片面積調整系數計算方法為 使用二值化和OTSU對標記的發(fā)病葉片部分提取綠色像 素 數除以發(fā)病葉片標記框像素 數 計算單個葉片的病情指數 將病情 分為1 9級 當發(fā)病率小于5 時 病情級別為1 當 發(fā)病率在5 25 之間時 病情級別為3 當發(fā)病率在25 50 之間時 病情級別為5 當發(fā) 權 利 要 求 書 5 6 頁 6 CN 114549494 A 病率在50 75 之間時 病情級別為7 當發(fā)病率大于75 時 病情級別為9 具體公式如 下 其中 i表示第i片發(fā)病葉片 根據公式 26 計算整體病情指數 其中 N 為發(fā)病葉片個數 i 為第i片發(fā)病葉片 根據不同的發(fā)病程度通過經驗數據會給出相應的專家治療意見 不同病情指數對應相 應的專 家治療意見 至此 完成了溫室生產環(huán)境下基于DW YOLOv4的草莓白粉病快速檢測 和病情定量評估 9 一種草莓白粉病快速檢測系統 包括存儲器和處理器 存儲器存儲權利要求1 8中任 一所述的DW YOLOv4網絡和病情指數計算 存儲器上的程序用于被處理器加載時執(zhí)行上述 的檢測方法 10 根據權利要求9所述的所述草莓白粉病快速檢測系統 其特征在于 該檢測系統集 成到智能終端 上 智能終端為手機 iPad或筆記本 農民拍照葉片 系統識別病情程度 給出 治療意見 權 利 要 求 書 6 6 頁 7 CN 114549494 A 一種溫室生產環(huán)境下草莓白粉病快速檢測方 法 技術領域 0001 本發(fā)明的技術方案涉及草莓白粉病檢測技術領域 具體地說是一種基于DW YOLOv4溫室生產環(huán)境下草莓白粉病快速檢測方法 背景技術 0002 草莓是近年來深受用戶喜愛的高價值水果之一 在北方于每年8 9月份定植 到次 年3 4月結束 由于是越冬茬 草莓通常在溫室中進 行培育 受溫室溫室結構影響 草莓種植 期間易出現濕度大 光照不足 通風不良等問題 為草莓真菌性病害發(fā)生提供了溫床 白粉 病 是近年來草莓生產上普遍發(fā)生的一種危害嚴重的病害 該病害發(fā)生流行頻率高 經濟損 失較高 發(fā)生白粉病后 草莓一般減產20 30 嚴重時可達50 以上 甚至絕 收 嚴重影 響草莓的產量和品質 草莓白粉病在發(fā)病初期 受害部位會覆蓋一層白色粉狀物 表現為葉 面出現白色菌絲 隨著病情加重 葉片產生暗斑和白色粉狀物 葉緣上卷 后期病斑變紅褐 色 葉質變脆 葉緣萎縮 焦枯 目前白粉病的發(fā)現主要靠人工檢驗 周期 長 發(fā)現滯后 并且 發(fā)現后病情診斷 如何施藥等措施由于缺少專家參與極易出現農戶施用藥品種類 藥量不 準確情況 進一步造成產量 品質的損失以及環(huán)境的污染 即便專家現場協助指導 但由于 觀察數量有限 同樣存在估算病情指數依據經驗 數據不準確的情況 隨著人工智能的發(fā) 展 使用計算機視覺技術進 行病害的識別 病情的診斷成為了可能性 使用視覺技術可以實 現更多點位的病情監(jiān)控 并進 行病情診斷 給出合理的施治方案 因此在真實生產 環(huán)境對草 莓葉片白粉病害 進行 快速檢測 和識別成為了智能農業(yè)的主 要研究方向之一 0003 Jaemyung Shin等人在 Adeep learning approach for RGB image based powdery mildew disease detection on strawberry leaves 中對比了使用AlexNet SqueezeNet GoogLeNet ResNet 50 Squeez eNet MOD1和SqueezeNet MOD2六種網絡進行草 莓葉片白粉病識別的效果 確定使用ResNet 50識別率更高 使用SqueezeNet MOD2識別率 略低于ResNet 50 但 其所使用的數據集是實驗室環(huán) 境簡單背 景下的圖像 僅能判別葉片是 否為發(fā)病葉 沒有對病害的位置進行檢測 也沒有對發(fā)病程度進行估算 Patrick Wspanialy等人在 A detection and severity estimation system for generic diseases of tomato greenhouse plants 中提出了一種溫室種植番茄病害嚴重程度評估 方法 但使用的同樣是針對實驗室簡單環(huán)境下采集的葉片病害樣本 對病害的識別使用的 是實例分割方法 識別的葉片和病害邊緣是不規(guī)則的區(qū)域 算法運行速度 慢 難以在實際應 用中推廣 公布號為CN 112150481 A的中國專利公開一種白粉病圖像分割方法 使用的是 白粉病灰度圖進 行病害點 實例分割 再用白粉病病害區(qū)域的像素點占采集圖像的像素點的 比例計算發(fā)病程度 其分母為采集圖像的像素點 并非完整葉片的像素點 容易在發(fā)病程度 計算上存在偏差 且實例分割的算法效率往往低于目標檢測算法的識別效率 不能滿足實 際應用中實時性的要求 說 明 書 1 18 頁 8 CN 114549494 A 發(fā)明內容 0004 針對現有技術的不足 本發(fā)明所要解決的技術問題是 提出一種溫室生產環(huán)境下 基于DW YOLOv4 Depthwise separable You Only Look Once v4 深度可分離YOLOv 4網絡 的草莓白粉病快速檢測方法 該方法將深度可分離卷積結構嵌入到YOLOv4框架中 通過多 尺度目標檢測實現了對草莓葉片白粉病病害區(qū)域和發(fā)病葉片的檢測 并基于病害檢測區(qū)域 面積預估病情指數 解決了草莓白粉病發(fā)病初期檢測難的問題 實現了草莓白粉病的快速 檢測及病情定級 0005 本發(fā)明解決所述技術問題所采用的技術方案是 一種溫室生產環(huán)境下草莓白粉病 快速檢測方法 該 方法包括以下內容 0006 采集溫室草莓生產環(huán)境下不同光照條件下白粉病發(fā)病葉片背面圖像 圖像背景為 草莓生長環(huán)境 在背面圖像上按照病害 發(fā)病葉片 其 他葉片進行 標注 制作數據集 0007 構建DW YOLOv4網絡 網絡包括骨干網絡模塊和融合特 征提取模塊兩 部分 0008 骨干網絡模塊 使用五組基于深度可分離卷積的跨階段局部網絡模塊DW CSPNet 進行串聯獲得 其中 DW CSPNet包括通過卷積核大小為3 3的卷積層下采樣 卷積核大小 為 1 1的卷積層壓縮或擴充通道 卷積核為3 3的深度可分離卷積 通道 拼接 特征圖求和 操作 0009 融合特征提取模塊 使用骨干網絡模塊中的第3 4 5個基于深度可分離卷積結構 的跨階段局 部網絡DW CSPNet的三個輸出特征圖作為輸入 融合特征提取模塊包括最大池 化 通道 拼接 卷積核 大小為1 1的卷積層 上采樣 下采樣 最 終形成三個尺度不同的輸出 特 征圖 0010 將采集到的圖像輸入到D W YOLOv4網絡中實現草莓葉片白粉病病害區(qū)域及發(fā)病葉 片的檢測 0011 根據白粉病發(fā)病 病害區(qū)域 面積占發(fā)病葉片面積的占比得到病情指數 0012 所述病情指數的具體 計算過程是 0013 利用公式 24 計算融合調整系數的發(fā)病率 0014 0015 其中 a i表示第i片發(fā)病葉片的發(fā)病率 A表示病害的面積 j為第i片發(fā)病葉片上的 第j個發(fā)病點病害 n表示第i片發(fā)病葉片 上的發(fā)病點病害個數 B i表示第i片發(fā)病葉片面積 表示葉片面積調整系數 0016 葉片 面積調整系數計算方法為 使用二值化和OTSU對標記的發(fā)病葉片部分提取綠 色像素 數除以發(fā)病葉片標記框像素 數 0017 計算單個葉片的病情指數 將病情分為1 9級 當發(fā)病率小于5 時 病情級別為 1 當發(fā)病率在5 25 之間時 病情級別為3 當發(fā)病率在25 50 之間時 病情級別為5 當發(fā)病率在50 75 之間時 病情級別為7 當發(fā)病率大于 5 時 病情級別為9 具體公 式 如下 說 明 書 2 18 頁 9 CN 114549494 A 0018 0019 其中 i表示第i片發(fā)病葉片 0020 根據公式 26 計算整體病情指數 0021 0022 其中 N 為發(fā)病葉片個數 i 為第i片發(fā)病葉片 0023 根據不同的發(fā)病程度通過經驗數據會給出相應的專家治療意見 不同病情指數對 應相應的專 家治療意見 0024 該檢測方法的具體步驟是 0025 第一 步 采集溫室生產環(huán)境下草莓葉片病害圖像數據 并制作數據集 0026 第1 1步 在日光溫室草莓生產環(huán)境下 設置多個采樣點 采集不同光照條件真實 生產環(huán)境下 的草莓病害葉片背面圖像 采樣點應盡量覆蓋到了整個溫室 病害葉片背面需 要人工翻葉片 但是葉片不脫離植物 采樣的時候背景是包含非所觀察的病害葉片的其它 葉片的 0027 第1 2步 基于采樣 點抽選 找到 發(fā)病葉片就采集 一旦發(fā)現病害發(fā)生 開始對觀測 的每 株全部葉片進行分辨 拍照 全部圖像獲取均由專業(yè)人員人工觀測獲得 0028 第1 3步 使用labelimg工具標注圖像 按照病害 powdery mildew 發(fā)病葉片 leaf with disease 其他葉片 leaf without disease 進行標注 即將病害所在位置框 選出來 將病害所在整個葉片即發(fā)病葉片框選 除發(fā)病葉片以外的肉眼可見 的葉片輪廓為 其他葉片將其框選出來 對于圖片中虛 化嚴重的葉片 如果邊緣區(qū)域無法肉 眼辨識 則不 予 標記 0029 第1 4步 生成數據集 將不同光照背景環(huán)境下采集標注后含病害的所有圖像制作 數據集 每張圖片會包含三種標注中的一個或多個 其中病害和發(fā)病葉片都至少會有一個 其 他葉片可能沒有 也可能有 多個 0030 第二 步 圖像預處 理 0031 第2 1步 將上述第 4步得到數據集中的圖像作為輸入 通過數據增強手段進行 處 理 并使用mosaic方法進行拼接 形成增強后圖像 0032 第2 2步 將第 1步增強后圖像隨機縮放到 32的10 19倍進行訓練 0033 第三步 使用基于深度可分離卷積的跨階段局部網絡 DW CSPNet 構建DW YOLOv4 的骨干網絡模塊 0034 第3 1步 構建基于深度可分離卷積的跨階段局部網絡模塊 DW CSPNet 0035 第3 1 1步 以上一步的輸出圖像D作為輸入 送入卷積核大小為3 3 步長為2 輸 出通道數為C out的下采樣層進行圖像處 理 形成特 征圖D 1 如公式 1 所示 0036 0037 其中 表示 卷積核大小為3 3 步長 為2 含歸一化和L eakyReLU激活函 數的卷積 說 明 書 3 18 頁 10 CN 114549494 A 操作 0038 第3 1 2步 處理后的結果分成2個分支 一個分支使用卷積核大小為1 1的卷積 層壓縮通道 形成特 征圖D 2 如公式 2 所示 0039 D2 1 D1 2 0040 其中 1表示卷積核大小為1 1 含 歸一 化和LeakyReLU激活函數的卷積 操作 0041 第3 1 3步 另一個分支經過卷積核大小為1 1的卷積層壓縮通道 形成特征圖 D3 使用卷積核大小為3 3的深度 可分離卷積和卷積核大小為1 1的卷積層對D 3進行特征 提取 并與D 3進行求和得到特 征圖D 4 如公式 3 所示 0042 D3 1 D1 D 4 1 3 D3 D3 3 0043 其 中 3表示3 3 含歸一化和LeakyReLU激活函數的深度可分離卷積操作 表示 特 征圖求和操作 0044 第3 1 4步 將D 2和D 4進行通道拼接后再使用卷積 核大小 為1 1的卷積層進行通道 壓縮 形成基于深度可分離卷積的跨階段局 部網絡模塊的輸出特征圖DW CSP 具體如公式 4 所示 將基于深度可分離卷積的跨階段局部網絡模塊記為f DW CSP 如公式 5 所示 0045 0046 DW CSP f DW CSP D 5 0047 其中 表示特 征圖拼接操作 0048 設輸入圖像D寬 高 通道數分別為w 0 h 0 c 0 通過DW CSPNet處理的特征圖維度發(fā) 生改變 輸出特征圖DW CSP的寬 高 通道數分別為w 0 2 h 0 2 c 0 即達到下采樣同時增加 深度的目的 0049 第3 2步 構建DW YOLOv4的骨干網絡 0050 五個基于深度可分離卷積的跨階段局部網絡依次串聯 第三個基于深度可分離卷 積的跨階段局部網絡的輸出記為特征圖DW CSP 1 如公式 6 所示 第四個基于深度可分離 卷積的跨階段局部網絡的輸出記為特征圖DW CSP 2 如公式 7 所示 第五個基于深度可分 離卷積的跨階段局部網絡的輸出記為特征圖DW CSP 3 如公式 8 所示 特征圖DW CSP 1 特征 圖DW CS P2和特 征圖DW CS P3將作為輸入特 征圖 參與到第四步融合特 征提取模塊的計算 0051 DW CSP1 f DW CSP fDW CSP fDW CSP D 6 0052 DW CSP2 f DW CSP DW CSP1 7 0053 DW CSP3 f DW CSP DW CSP2 8 0054 其中 第一個基于深度可分離卷積的跨階段局部網絡的輸出通道數為32 其他按 照步驟3 1中的輸出通道數規(guī)則處 理 0055 第四步 構建DW YOLOv4的融合特 征提取模塊 0056 第4 1步 以DW CSP 3為輸入 使用3 3的卷積 進行通道壓縮 得到特征圖D 4 1 如 公式 9 所示 0057 D4 1 3 DW CSP3 9 0058 其中 3表示卷積核大小為3 3 含 歸一 化和LeakyReLU激活函數的卷積 操作 0059 第4 2步 對D 4 1進行步長為5 9 13的最大池化 將得到的結果與D 4 1進行通道拼 接 得到特 征圖D 4 2 如公式 10 所示 0060 說 明 書 4 18 頁 11 CN 114549494 A 0061 其中 5 9 13分別表示 步長為5 9 13的最大池化操作 0062 第4 3步 使用1 1的卷積核對D 4 2進行通道壓縮 得到特征圖D 4 3 如公式 11 所 示 0063 D4 3 1 D4 2 11 0064 第4 4步 使用1 1的卷積對D 4 3進行通道壓縮后進行上采樣 與DW CSP 2進行通道 拼接 再使用1 1的卷積核 進行通道壓縮 得到特 征圖D 4 4 如公式 12 所示 0065 0066 其中 為上采樣 操作 0067 第4 5步 使用1 1的卷積對D 4 4進行通道壓縮后進行上采樣 與DW CSP 1進行通道 拼接 再使用3 3的卷積核 進行通道壓縮 得到特 征圖D 4 5 如公式 13 所示 0068 0069 第4 6步 使用大小為3 3 步長為2的卷積核對D 4 5進行下采樣及通道擴充 與D 4 4 拼接后再使用3 3的卷積核 進行通道壓縮 得到特 征圖D 4 6 如公式 14 所示 0070 0071 第4 7步 使用大小為3 3 步長為2的卷積核對D 4 6進行下采樣及通道擴充 與D 4 3 拼接后再使用3 3的卷積核 進行通道壓縮 得到特 征圖D 4 7 如公式 15 所示 0072 0073 第4 8步 使用三個l 1的卷積分別對D 4 5 D 4 6 D 4 7調整輸出維度 形成最終特征 圖D 4 8 1 D 4 8 2 D 4 8 3 如公式 16 所示 0074 D4 8 1 1 D4 5 D 4 8 2 1 D4 6 D 4 8 2 1 D4 7 16 0075 其中 卷積 1為卷積核大小為1 1的不含歸一化和LeakyReLU激活函數的卷積操 作 至此完成DW YOLOv4的融合特 征提取模塊的構建 0076 第五步 使用結合CIOU和指數增強二值交叉熵的損失函數計算第4 8步輸出的預 測值與實際值之間的損失 第4 8步輸出的預測值包括目標框中心 點坐標 寬度 高度 類別 以及置信度 0077 總損失 公式為式 23 0078 0079 其中 為目標檢測任務的損失函數 為使用 指數增強二值交叉熵表示類 別預測值與實際值的損失 為使用二 值交叉熵計算的置信度損失 0080 第六步 對經損失計算后的模型 預測結果進行非極大值抑制NMS 并進行 結果調整 0081 第6 1步 使用NMS對經損失計算后的模型預測結果進行處理 得出病害 powdery mildew 發(fā)病葉片 leaf with disease 其他葉片 leaf without disease 三類目標中 未超出NMS閾值的預測結果 包括目標框中心點 坐標 寬度 高度 類別以及置信度 0082 第6 2步 對非極大值抑制后的預測結果進行調整 0083 由于病害一定發(fā)生在葉片上 但第6 1步所獲得的預測結果并不一定會識別出發(fā) 病葉片 當圖片識別出了病害 但沒有識別出發(fā)病葉片時 將與病害的IoU最大的其他葉片 類別調整為發(fā)病葉片 如果沒有任何葉片與識別 出的病害的IoU 0則剔除該發(fā)病點 確保 說 明 書 5 18 頁 12 CN 114549494 A 全部檢測出的病害都有發(fā)病葉片與之對應 0084 骨干網絡模塊和融合特征提取模塊 損失計算和非極大值抑制并調整共同構成 DW YOLOv4網絡 0085 第七步 計算病情指數 0086 病情指數的具體 計算過程是 0087 利用公式 24 計算融合調整系數的發(fā)病率 0088 0089 其中 a i表示第i片發(fā)病葉片的發(fā)病率 A表示病害的面積 j為第i片發(fā)病葉片上的 第j個發(fā)病點病害 n表示第i片發(fā)病葉片 上的發(fā)病點病害個數 B i表示第i片發(fā)病葉片面積 表示葉片面積調整系數 0090 葉片 面積調整系數計算方法為 使用二值化和OTSU對標記的發(fā)病葉片部分提取綠 色像素 數除以發(fā)病葉片標記框像素 數 0091 計算單個葉片的病情指數 將病情分為1 9級 當發(fā)病率小于5 時 病情級別為 1 當發(fā)病率在5 25 之間時 病情級別為3 當發(fā)病率在25 50 之間時 病情級別為5 當發(fā)病率在50 75 之間時 病情級別為7 當發(fā)病率大于 5 時 病情級別為9 具體公 式 如下 0092 0093 其中 i表示第i片發(fā)病葉片 0094 根據公式 26 計算整體病情指數 0095 0096 其中 N 為發(fā)病葉片個數 i 為第i片發(fā)病葉片 0097 根據不同的發(fā)病程度通過經驗數據會給出相應的專家治療意見 不同病情指數對 應相應的專 家治療意見 0098 至此 完成了溫室生產環(huán)境下基于DW YOLOv4的草莓白粉病快速檢測和病情定量 評估 0099 本發(fā)明還保護一種草莓白粉病快速檢測系統 包括存儲器和處理器 存儲器存儲 所述的DW YOLOv4網絡和病情指數計算 存儲器上的程序用于被處理器加載時執(zhí)行上述的 檢測方法 0100 本發(fā)明的有益效果是 0101 1 本 發(fā)明方法使用深度可分離卷積提取特征 大大減少了模型所需參數量 在減 少模型大小的基礎上不降低準確程度 識別速度更快 DW YOLOv4模型大小為20 7MB YOLOv4模型大小為256 1MB 相比YOLOv4模型DW YOLOv4模型更適于在移動設備上部署 同 時檢測速度也有明顯提升 DW YOLOv4檢測速度為264fps遠高于 YOLOv4的68fps檢測速度 說 明 書 6 18 頁 13 CN 114549494 A 0102 2 本發(fā)明構建的DW YOLOv4網絡 包括基于深度可分離卷積結構的骨 干模塊和融 合特征提取模塊 將不同層的特征圖在融合特征提取模塊進行融合 能夠同時保留淺層和 深層 網絡提取 的特征 提升網絡對不同大小目標的識別能力 克服了由于白粉病發(fā)病早期 病害面積小 受光照干擾大 難以檢測的問題 0103 3 本發(fā)明檢測方法使用指數增強二值交叉熵優(yōu)化了損失函數 來解決病害與葉 片數量 不平衡的問題 能夠幫助DW YOLOv4網絡更加關注類別 信息 0104 4 本發(fā)明在檢測出草莓白粉病病害 發(fā)病葉片基礎上進一步提出了葉片融合調 整系數的病情指數計算方法 克