基于視覺伺服的蝴蝶蘭種苗切割系統(tǒng)設計與試驗.pdf

第 38 卷 第 6 期 農 業(yè) 工 程 學 報 Vol 38 No 6 148 2022 年 3月 Transactions of the Chinese Society of Agricultural Engineering Mar 2022 基于視覺伺服的蝴蝶蘭種苗切割系統(tǒng)設計與試驗 翟永杰 1 胡東陽 1 苑 朝 1 王家豪 1 張 鑫 1 劉亞軍 2 1 華北電力大學自動化系 保定 071003 2 湖北壹鳴生物科技有限公司 鐘祥 431900 摘 要 蝴蝶蘭種苗自動化切割可降低組培苗染病幾率 提高種苗品質 為實現(xiàn)蝴蝶蘭種苗自動化切割 該研究針對種苗 結構特性提出基于擬合直線的切點定位方法 并配合切割方法設計了彈性切割末端 搭建了基于視覺伺服的蝴蝶蘭種苗切 割系統(tǒng) 首先 采用深度學習模型對采集到的圖像進行目標檢測 然后 根據檢測結果使用基于幾何規(guī)則的切割點定位算 法計算切點 最后 將切割坐標傳輸給切割執(zhí)行機構完成切割作業(yè) 目標檢測試驗中 ShuffleNet v2 YOLOv5 模型檢測精 度達 96 7 權重文件大小 1 3 MB 平均檢測時間 0 026 s 種苗切割試驗中 切割合格率高于 86 單株平均切割時間小 于 18 s 該系統(tǒng)能有效完成蝴蝶蘭種苗切割任務 為蝴蝶蘭組培苗自動化生產提供新思路 關鍵詞 目標檢測 深度學習 視覺伺服 蝴蝶蘭種苗 切點定位 切割系統(tǒng) doi 10 11975 j issn 1002 6819 2022 06 017 中圖分類號 S24 文獻標志碼 A 文章編號 1002 6819 2022 06 0148 09 翟永杰 胡東陽 苑朝 等 基于視覺伺服的蝴蝶蘭種苗切割系統(tǒng)設計與試驗 J 農業(yè)工程學報 2022 38 6 148 156 doi 10 11975 j issn 1002 6819 2022 06 017 http www tcsae org Zhai Yongjie Hu Dongyang Yuan Chao et al Design and experiments of phalaenopsis seedling cutting system using visual servo J Transactions of the Chinese Society of Agricultural Engineering Transactions of the CSAE 2022 38 6 148 156 in Chinese with English abstract doi 10 11975 j issn 1002 6819 2022 06 017 http www tcsae org 0 引 言 蝴蝶蘭組織培養(yǎng)技術逐漸走向成熟 其作為一種無 性繁殖技術 具有培育周期短 成活率高 產量高 可 降低生產成本等眾多優(yōu)勢 具有很好的發(fā)展前景 1 3 目 前 在蝴蝶蘭組織培養(yǎng)中仍存在一些問題 由于行業(yè)內 機械化程度比較低 蝴蝶蘭組培苗的移植以手工業(yè)為主 尤其是種苗根部切除工作仍由人工完成 工人勞動強度 大且工作內容枯燥 4 5 在此過程中的人工操作也可能會 破壞無菌環(huán)境 使組培苗染病幾率增加 種苗成活率降 低 農業(yè)機器人研究起步較早 但目前還沒出現(xiàn)自動化 和機械化比較成熟的蝴蝶蘭種苗切割研究成果 由此可 見 根據產業(yè)內實際情況研制開發(fā)自動化種苗切割系統(tǒng) 顯得尤為重要 自動化切割種苗要求在保證不傷害到種苗的同時盡 量達到切割深度 實現(xiàn)完整切割 目前以深度學習技術 為基礎的檢測方法在工業(yè) 農業(yè)領域內被廣泛應用 6 8 以其強大的特征學習能力 為種苗自動切割方法提供了 新的思路 Zahid 等 9 提到在蘋果樹修剪機器研發(fā)設計中 可采用基于深度學習的圖像分割算法為剪枝定位提供數 據支持 Quan 等 10 基于 Faster RCNN 模型開發(fā)了一種玉 米幼苗檢測機器人 在有大量雜草存在的背景下能有較 高的檢測精度 Wu 等 11 為了在保證檢測精度的基礎上提 收稿日期 2021 12 29 修訂日期 2022 02 19 基金項目 國家自然科學基金資助重點項目 U21A20486 作者簡介 翟永杰 博士 教授 研究方向為計算機視覺 模式識別 機器人控制 Email zhaiyongjie 通信作者 苑朝 博士 講師 研 究方向為 機器人智能傳感器技術 基于 視覺的工業(yè)機器人控制 Email chaoyuan 高檢測效率 提出了基于 YOLOv4 和通道剪枝算法的蘋 果花實時檢測方法 該方法對不同品種和光照變化有較 強的魯棒性 楊柯等 12 設計的基于深度卷積神經網絡的 大蒜切根試驗臺通過對采集到的圖像進行檢測得到切根 位置 控制電機完成切割 該平臺有較高的檢測精度和 較快的切割速度 現(xiàn)有的農業(yè)機器人設計多針對開放的 農田環(huán)境 13 15 無菌環(huán)境下的蝴蝶蘭種苗切割系統(tǒng)仍有 待開發(fā) 無菌環(huán)境可以保護組培幼苗不受微生物感染 種苗切割工作間為經過細致消毒后的溫室 受環(huán)境條件 限制 為防止種苗切割碎片與培養(yǎng)基液體飛濺 切割末 端不宜采用文獻 12 所選用的旋轉切割方案 另外 切割 執(zhí)行末端會接觸消毒液 培養(yǎng)基液體和種苗汁液 旋轉 切割末端不利于機電隔離 并且切割末端設計選材時需 要考慮耐腐蝕因素 切割末端刀具為無菌耗材 為保障 組培苗批量生產效率 需設計方便更換的結構 針對蝴蝶蘭種苗組培產業(yè)內的自動化切割需求 本 文在分析了蝴蝶蘭種苗各部位形態(tài)特征后 結合種苗切 割要求 設計了一種基于視覺伺服的蝴蝶蘭種苗切割系 統(tǒng) 該系統(tǒng)根據種苗自身特性 對種苗進行自動識別并 計算待切割位置 驅動切割執(zhí)行機構完成切割作業(yè) 該 種苗切割系統(tǒng)擬在保證種苗結構不被破壞的前提下完成 切割工作 以解決人工切割對無菌環(huán)境帶來的污染問題 1 種苗切割系統(tǒng)整體結構和控制系統(tǒng) 1 1 整體結構 種苗切割系統(tǒng)主要由種苗視覺檢測系統(tǒng) 切割坐標 定位系統(tǒng)和切割執(zhí)行系統(tǒng)構成 如圖 1 所示 利用工業(yè) 相機獲取蝴蝶蘭種苗圖像 然后對種苗圖像各部位進行 第 6 期 翟永杰等 基于視覺伺服的蝴蝶蘭種苗切割系統(tǒng)設計與試驗 149 識別 切割坐標定位系統(tǒng)將識別得到的信息進行處理 結合蝴蝶蘭自身結構特性和切割要求計算種苗切割點坐 標 當切割坐標滿足要求時將其傳輸給標定好的切割執(zhí) 行系統(tǒng) 由機械臂帶動末端刀具結構完成切割 圖 1 種苗切割系統(tǒng)結構圖 Fig 1 Structure diagram of seedling cutting system 1 2 控制系統(tǒng) 采用 PyQt 開發(fā)設計了蝴蝶蘭種苗切割人機交互系 統(tǒng) 主要包括視覺檢測 機械臂參數監(jiān)控和系統(tǒng)控制 3 部分 如圖 2 所示 界面左側為種苗視覺檢測系統(tǒng) 在 下方控制區(qū)內設置了加載圖像按鈕和拍攝按鈕 加載了 深度卷積神經網絡訓練的檢測器后 可分別通過加載本 地圖像或從相機獲取圖像進行種苗識別 界面下方為系 統(tǒng)控制區(qū) 通過對采集區(qū)域內圖像進行識別后提取框內 部分進行圖像處理和形態(tài)學分析 結合當前的種苗切割 要求進行蝴蝶蘭種苗切割點計算 界面右側為機械臂控 制部分 可監(jiān)測機械臂各關節(jié)參數 控制區(qū)內設置了機 械臂啟動和緊急停止按鈕 另外還可通過下方機械臂參 數控制區(qū)域設定機械臂末端速度 圖 2 控制界面 Fig 2 Control interface 1 3 切割控制原理 蝴蝶蘭種苗切割系統(tǒng)整體控制邏輯如圖 3 所示 當從控 制界面輸入開始信號后 視覺系統(tǒng)調用工業(yè)相機對種苗進行 拍攝 拍攝圖像被傳輸并保存至核心計算單元 下一步對保 存的圖像進行識別并判斷切割可行性 蝴蝶蘭種苗切割是在 中母到子瓶時期 種苗各部位體積較小 不易出現(xiàn)相互遮擋 的情況 但由于蝴蝶蘭種苗生長狀態(tài)存在偶然性 可能有少 量樣本待切割部位重疊或被遮擋 如果所拍攝圖像種苗待切 割部分存在大面積遮擋或重疊則不滿足切割條件 需經過調 整后再進行切割條件檢測 若同時檢測到種苗根部和黑色塊 莖 則判定滿足切割條件并進行切點計算 如不滿足則重新 等待拍攝指令 機械臂程序設置為等待狀態(tài) 當接到切割坐 標時執(zhí)行切割任務 切割完成后復位至初始狀態(tài) 單株種苗 通常有 2 3 個待切割根部 為保證切割準確性 完成首次 切割后視覺系統(tǒng)重新對種苗進行拍攝 計算下一部分切點坐 標 設置單株連續(xù)切割間隔為 0 5 s 圖 3 切割控制邏輯 Fig 3 Cutting control logic 2 視覺定位方法 2 1 輕量級 YOLOv5 模型 切割目的是為了使蝴蝶蘭組培苗在新的培養(yǎng)基內適 宜生長并方便移植 由于種苗各部位相對位置存在規(guī)律 種苗胚根由黑色塊莖的內根生長出來 再經過莖部連接 種苗葉片 檢測種苗其他部位有助于待檢測部分的精準 識別 另外為實現(xiàn)種苗待切割部位的準確定位 需要黑 色塊莖位置信息進行輔助定位 因此 采用 ShuffleNet v2 YOLOv5 模型對種苗葉片 黑色塊莖和根部進行識別 為實現(xiàn)種苗切割系統(tǒng)高效準確切割 需要選擇識別 效率高且準確率較高的目標檢測模型 16 18 YOLOv5 作 為典型的單階段檢測模型相較于 Faster RCNN 19 Casacde R CNN 20 R FCN 21 Couple Net 22 等兩階段網 絡有更好的實時性 對硬件的算力要求也更低 更適用 于工作連續(xù)性要求較高的邊緣部署 同時 考慮到模型 的可移植性 本文采用以 ShuffleNet v2 23 為主干網絡的 ShuffleNet v2 YOLOv5 目標識別網絡進行種苗識別 整體網絡結構如圖 4 所示 分為輸入端 主干網絡 頸部網絡 頭部網絡 4 個部分 其中輸入端主要包括 Mosaic 數據增強 圖片尺寸處理和自適應錨框計算三部 分 輸入種苗圖像經縮放后大小統(tǒng)一為 640 640 主干網 絡部分采用 ShuffleNet v2 結構 SN 1 為 ShuffleNet v2 的 農業(yè)工程學報 http www tcsae org 2022 年 150 基本單元 SN 2 為空間下采樣的 ShuffleNet v2 單元 頸 部網絡將提取的語義特征與位置特征進行融合 并且將 主干層與檢測層特征進行融合 使整個模型的特征信息更 加豐富 頭部網絡部分輸出一個表征檢測結果的向量 對 待測目標的類別和邊框位置等信息進行描述 在 3 個檢測 層分別輸出相應向量 最后在原圖像中生成檢測邊框 注 conv 為卷積 Concat 為通道數相加的特征融合方式 SPP 為跨階段殘差結構 CBS 為 conv 加 BN 加 SiLu 激活函數的合成模塊 BN 為批量歸一化 Maxpool 為最大池化 Res unit 為殘差模塊 SN 1 為 ShuffleNet v2 的基本單元 SN 2 為空間下采樣的 ShuffleNet v2 單元 輸入圖像尺寸為 640 640 3 維的張量 卷 積操作分別形成圖像尺寸為 80 80 24 維張量 40 40 24 維張量和 20 20 24 維張量 Note conv is convolution Concat is the feature fusion method of adding channel number SPP is a cross stage residual structure CBS is the synthesis module of conv plus BN and SiLu activation function BN is batch normalization Maxpool is max pooling Res unit is the residual module SN 1 is the basic unit of ShuffleNet v2 and SN 2 is the ShuffleNet v2 unit under spatial sampling Input image size of 640 640 3 dimension tensor convolution operation respectively formed image size of 80 80 24 dimension tensor 40 40 24 dimension tensor and 20 20 24 dimension tensor 圖 4 整體網絡結構圖 Fig 4 Structure diagram of overall network 2 2 切割坐標定位算法 為了滿足種苗培育的要求 需要對切割點進行精 準定位 當同時檢測到蝴蝶蘭根部與黑色塊莖部位 且各目標框不存在大面積重疊時 證明種苗不處于直 立狀態(tài) 滿足切割條件 將對其進行切割點計算 為 獲得切割執(zhí)行機構末端的切割點 農業(yè)切割系統(tǒng)中常 利用預測的邊界框邊線進行切割作業(yè) 12 但這種方法 不易限制切割點范圍 放置在特定的位置時并不能有 效驅動執(zhí)行機構完成切割 在執(zhí)行切割時會對種苗其 他部位造成損害 由此可見 該方法并不適用于精準 度要求較高的蝴蝶蘭種苗切割任務 針對這個問題 本文通過分析蝴蝶蘭種苗結構特性 利用多種圖像處 理算法 設計了基于多目標的切割坐標定位算法 其 流程如圖 5 所示 注 stem 為種苗胚根 blade 為種苗葉片 black tuber 為種苗黑色塊莖 數字表示置信度 即模型有多少概率判定該目標屬于此類別 下同 Note Stem is seeding radicle blade is seeding leaf black tuber is seeding black tuber Digital representation confidence that is how much probability the model has to determine the target belongs to this category The same below 圖 5 切點定位算法流程圖 Fig 5 Flow chart of cutting point location algorithm 第 6 期 翟永杰等 基于視覺伺服的蝴蝶蘭種苗切割系統(tǒng)設計與試驗 151 首先進行切割條件判斷 將拍攝圖像送入目標檢測 網絡后 可以得到不同標簽的檢測區(qū)域 判斷檢測結果 中是否同時檢測出根部區(qū)域和單獨的黑色塊莖區(qū)域 如 果滿足條件則開始計算切割點 然后進行圖像預處理 先對其高斯濾波降噪 并 將其二值化 再對圖像做膨脹處理 對提取到的圖像 提取輪廓線 找到最大連通區(qū)域并填充 得到連通域 圖像 s E 最后計算切割點 讀取圖像連通域內所有像素點 任取兩個像素點確定一條直線 G L 求連通域內所有像素 點到直線 G L 的距離 d 由于種苗生長的偶然性 部分種 苗待切割根部可能會有一定程度的彎曲 根據蝴蝶蘭種 苗自身特性 本文在以連通域像素點擬合直線的過程中 設置校正因子 其計算式為 1 d 1 式中 d 為連通域內像素點到黑色塊莖區(qū)域中心點距離 像素 為校正系數 像素點經校正因子修正后用于擬 合直線的相對距離計算式為 dd 2 式中 d 為連通域內所有像素點到直線 G L 的距離 像素 引入校正因子的目的是使靠近黑色塊莖部位的連通 域像素在擬合直線的過程中起到主導作用 同時弱化遠 離切割點像素作用 以此可以修正根部擬合直線的位置 使其更接近切割中心 對比不同 取值 擬合直線與 x 軸正方向夾角如圖 6 所示 從校正系數變量擬合結果可以看出 隨校正系數 取值增加 靠近黑色塊莖部位的連通域像素在擬合直線 的過程中起到主導作用 擬合直線接近靠近黑色塊莖的 根部中心 當 取值大于等于 2 時 直線傾角變化在 1 以內 圖 6 為種苗胚根連通域直線擬合校正效果圖 注 為胚根擬合直線校正系數 0 3 為擬合直線與 x 軸正方向夾角 Note is the correction coefficient of stem fitting line 0 3 is the angle between the fitting line and the positive direction of x axis 圖 6 種苗胚根連通域直線擬合校正示意圖 Fig 6 Implication diagram of straight line fitting correction for connected domain of seedling stem 將校正后的相對距離代入距離函數 d 當 d 最 小時 直線 G L 記為連通域擬合直線 f L 根據 M estimator 算法 24 為防止對干擾點魯棒性不夠 d 計算公式為 2 2 2 d dC d C Cd 其他 3 其中 d 為連通域內點到直線 G L 相對距離 由 M estimator 算法 C 為定值 1 345 直線 f L 表達式為 21 21 21 21 21 yy yy yxy x x xx 4 其中 11 x y 和 22 x y 為當 r 最小時用于確定 直線的兩點坐標 然后求取根部檢測框外接圓 i Q 為 22 2 s si x xyyr 5 其中 s s x y 為根部檢測框中心點坐標 i r 為檢測框 外接圓半徑 22 2 s s i wh r 6 式中 s w 為檢測框寬 s h 為檢測框高 聯(lián)立式 4 和 5 計算外接圓與直線 f L 交點坐標 1 P 2 P 比較兩交點與黑色塊莖檢測框距離 判定兩交點中 距黑色塊莖檢測框近點為切割點 P 切割線與圖像橫軸 夾角 計算公式為 21 21 arctan 2 yy x x 7 為保障種苗內根不受損傷 本文設計了基于黑色塊 莖保護區(qū)域的切點修正算法 首先計算黑色塊莖檢測框 外接圓 b Q 然后計算切割點 P 與黑色塊莖外接圓 b Q 圓心 距離 j d 若 j d 大于外接圓 b Q 半徑 j r 則切割點在外接圓 外 判定其為最終切割點 反之判定切割點在外接圓內 進行切點位置校正 計算黑色塊莖外接圓 b Q 與擬合直線 f L 的兩交點坐標 判定靠近根部檢測框的交點為校正后 的切割點 P 切割點校正方法如圖 7 所示 a 無需校正 b 需要校正 a Non correction b With correction 圖 7 切割點位置是否校正示意圖 Fig 7 The schematic diagram of non or with the cutting point position correction 3 硬件系統(tǒng) 3 1 手眼標定 采用?？?MV CE060 10UC 彩色工業(yè)相機采集蝴蝶 蘭種苗圖像 以手在眼外方式進行手眼標定 25 在這種 農業(yè)工程學報 http www tcsae org 2022 年 152 標定方式下 將標定板固定在機械臂末端 保證二者位 姿關系始終不變 通過兩次運動 求解相機和機械臂底 座坐標系之間的位姿關系 3 2 視覺識別與坐標計算系統(tǒng) 視覺模型訓練使用 Ubuntu18 04 操作系統(tǒng) 32 GB 內 存 Nvidia GeForce RTX2080Ti 顯卡 Intel 酷睿 i9 10850K 處理器 在 Pytorch1 8 CUDA11 0 下實現(xiàn)模型搭建及訓 練測試工作 識別與坐標計算使用 Windows10 操作系統(tǒng) AMD Ryzen 5 4600H 處理器 3 3 通信系統(tǒng)設計 設置視覺識別系統(tǒng)和切點坐標計算系統(tǒng)集成在同一 核心處理單元 工業(yè)相機與該處理單元通過 USB 3 0 接 口通信 核心處理單元與機械臂通過 WiFi 實現(xiàn)通信 3 4 切割執(zhí)行機構設計 3 4 1 機械臂硬件系統(tǒng) 切割機械臂選用 AUBO i5 機械臂系統(tǒng)主要由機械 臂本體 控制柜 底座組成 機械臂本體模仿人體手臂 共有 6 自由度 最大負載為 5 kg 重定位精度 0 05 mm 控制柜是 AUBO系列機械臂控制主體 提供多個 IO接口 通過 CAN 總線與機械臂本體通信 機械臂工具端有 4 個 數字輸入輸出接口及 2 個模擬輸入接口 如圖 8 所示 機械臂工作空間為除去機座正上方和正 下方的球形空間 工作范圍半徑 886 5mm 關節(jié)轉動的角 度范圍是 175 a 機械臂系統(tǒng) b 工作空間 a Manipulator system b Workspace 1 機械臂本體 2 底座 3 工具端 4 控制柜 1 Manipulator body 2 Bedplate 3 Tool end 4 Control cabinet 圖 8 機械臂系統(tǒng)與工作空間 Fig 8 Manipulator system and workspace 3 4 2 切割末端設計 蝴蝶蘭種苗結構較為特別 當前常見機械臂末端不 能有效完成切割任務 對此 本文針對種苗結構設計了 彈性切割末端 圖 9a 為末端結構仿真設計圖 圖 9b 為實 物圖 刀片材料為 sk2 工具鋼 5 號部件為刀具夾頭 采 取十字形夾頭設計 配合 3 號部件內螺紋結構可在保證 刀片穩(wěn)固的同時方便更換 切割過程中刀片頻繁接觸試 驗臺 在此過程中刀片會有一定程度的損耗 設計成方 便更換的夾頭形式有利于后期維護 蝴蝶蘭種苗根部直 徑多為 3 6 mm 因此選用 8 mm 寬度刀片可以實現(xiàn)對種 苗根部的完整切割 種苗材質為軟質植物體 彈性切割 末端有助于更好的完成切割任務 2 號部件為勁度系數 1 2 N mm 的彈簧 用以配合切割邏輯 既可以實現(xiàn)種苗 根部完全被切斷 又不會因機械臂行程過大對切割結構 和實驗平臺造成過度損耗 切割過程中執(zhí)行末端會接觸 消毒液 培養(yǎng)基液體和種苗汁液 因此切割末端設計選 材時需要考慮耐腐蝕因素 末端法蘭端固定裝置 刀具 連接頭和結構固定裝置采用 3D 打印制作 使用材料為 ABS 工程塑料 a 仿真設計圖 b 實物圖 a Simulation design chart b Terminal physical figure 1 法蘭端固定裝置 2 彈簧 3 刀具連接頭 4 結構固定裝置 5 刀具夾頭 1 Flange end fixing device 2 Spring 3 Tool connector 4 Structure fixing device 5 Tool chucks 圖 9 切割末端 Fig 9 Cutting end 4 試驗與結果分析 農業(yè)機器人工作場景多為農田 但蝴蝶蘭種苗切割 系統(tǒng)與其存在很大不同 組織培養(yǎng)過程中需盡量保持無 菌環(huán)境 以免種苗受病菌污染 26 27 因此 需要在封 閉的室內環(huán)境中搭建工作臺 工作臺背景可選較為簡單 的純色背景 在采集用于進行模型訓練和測試的數據集 時也采用同樣場景 相較于復雜紋理背景 較為簡單的 純色圖像背景有利于模型訓練收斂且能有效提升檢測 精度 4 1 評價指標 采用平均精度 mean Average Precision mAP 作為模型檢測精度的評價指標 mAP 與準確率 P 召回率 R 有關 其計算如式 8 11 TP 100 TP FP P 8 TP 100 TP FN R 9 1 0 AP d PR R 10 1 1 mAP AP 100 M k k M 11 式中 TP 為被正確劃分到正樣本的數量 FP 為被錯誤劃分 到正樣本的數量 FN 為被錯誤劃分到負樣本的數量 M 為 類別總數 AP k 為第 k 類 AP 值 mAP0 5 是真實框與檢測 框的交并比 Intersection over Union IoU 值取 50 mAP 0 5 0 95 是 IoU 的值從 50 取到 95 步長為 5 然后計算在這些 IoU 下的 AP 的均值 4 2 蝴蝶蘭種苗數據集獲取與標注 為獲取典型待切割蝴蝶蘭圖像數據集 本文對 280 株待切割種苗進行拍攝 拍攝距離 200 mm 配合環(huán)形主 動光源補光 圖像背景為灰白色試驗臺 構建由 1 505 張 圖像組成的蝴蝶蘭種苗數據集 數據集部分樣本如圖 10 所示 對數據集進行分類篩選 選擇共計 968 張圖像進 第 6 期 翟永杰等 基于視覺伺服的蝴蝶蘭種苗切割系統(tǒng)設計與試驗 153 行試驗 選用 LabelImg 標注器進行標注 a 種苗 1 b 種苗 2 a Seeding 1 b Seeding 2 注 種苗 1 和種苗 2 拍攝參數相同 種苗放置方向任意 Note Seedling 1 and 2 shooting parameters are the same the seedling placement direction is arbitrary 圖 10 部分數據集樣本 Fig 10 Partial dataset samples 所選數據集按 4 1 比例進行訓練與測試分組 圖 11 對訓練數據集目標種類 目標框位置和大小分布進行可 視化 為解決圖像尺寸大小不統(tǒng)一的問題 以圖像寬高 為基準對圖像及目標框進行歸一化處理 圖 11b 為在對 原圖進行分辨率歸一化后目標框中心點位置 訓練集數據表明 三類部位中黑色塊莖數約等于種 苗樣本圖像個數 而待切割根部約為樣本數 2 倍 符合 蝴蝶蘭種苗生長結構 標框多集中于圖像中間 由于蝴 蝶蘭本身植物結構的原因 目標框樣本存在一定程度的 類間不平衡 自適應圖片采樣策略可以解決此問題 首 先將樣本中真實類型讀取出來 存為一個列表 統(tǒng)計訓 練樣本列表中不同類別的矩形框個數 然后給每個類別 按相應目標框數的倒數賦值 即數目越多的種類權重越 小 形成按種類的分布直方圖 對于訓練數據列表 每 輪訓練按照類別權重篩選出每類的圖像作為訓練數據 以達到樣本均衡的效果 a 目標框數量 b 歸一化后目標框中心位置 a Number of target boxes b Normalized center position of target box 圖 11 數據集種類及目標框分布情況 Fig 11 Data set types and target box distribution 4 3 模型有效性驗證 為驗證目標檢測模型有效性 對比了 Faster RCNN YOLOv4 28 YOLOv5 MobileNet v2 YOLOv5 目標檢測 模型 設置評價指標為蝴蝶蘭種苗各部位檢測精度 mAP0 5 mAP 0 5 0 95 權重文件大小和圖片的平均檢 測時間 對比實驗中 保持所設參數一致 檢測結果如表 1 所示 表 1 不同模型檢測結果對比 Table 1 Comparison of test results of different models 精度 Precision 模型 Model 主干網絡 Backbone network 葉片 Blade 胚根 Stem 黑色塊莖 Black tuber mAP0 5 mAP 0 5 0 95 權重文件大小 Weight file size MB 平均檢測時間 Mean detection time s Faster RCNN ResNet50 0 971 0 945 0 928 0 948 0 681 315 0 0 118 YOLOv4 DarkNet53 0 961 0 968 0 897 0 942 0 573 130 1 0 516 YOLOv5 Modified CSP v5 0 983 0 981 0 939 0 968 0 665 14 4 0 220 MobileNet v2 YOLOv5 MobileNet v2 0 992 0 984 0 921 0 966 0 661 7 4 0 029 ShuffleNet v2 YOLOv5 ShuffleNet v2 0 992 0 986 0 923 0 967 0 679 1 3 0 026 由于蝴蝶蘭種苗數據集背景為純色 且各待檢測部位 與背景間有明顯的色彩梯度變化 整體檢測準確率相對較 高 mAP0 5 均大于 0 94 最高可達 0 968 Faster RCNN 相 較于 YOLO 系列檢測模型 因其兩階段檢測特性 mAP 0 5 0 95 指標達到 0 681 略高于 YOLO 檢測網絡 但其權重文件大小為 315 0 MB 遠高于 YOLOv5 的 14 4 MB 模型參數冗余量更大 而基于 YOLOv5 框架的 ShuffleNet v2 YOLOv5 權重文件大小僅為 1 3 MB 檢測準 確率也接近 YOLOv5 原模型 從各模型檢測時間可以看出 采用 ShuffleNet v2 YOLOv5 模型進行檢測 可有效提升檢 測速度 單張圖像平均檢測時間僅為 0 026 s 權衡各模型 優(yōu)缺點 ShuffleNet v2 YOLOv5 模型在保證檢測精度的前 提下權重更小 推理速度更快 因此更適合于蝴蝶蘭種苗 檢測任務 同時考慮到下一步檢測算法和切點定位算法的 邊緣部署 ShuffleNet v2 YOLOv5 也是更為合適的模型 ShuffleNet v2 YOLOv5 檢測結果如圖 12 所示 a 種苗 1 b 種苗 2 c 種苗 3 d 種苗 4 a Seeding 1 b Seeding 2 c Seeding 3 d Seeding 4 圖 12 不同放置方向的種苗目標檢測結果 Fig 12 Seedling target detection results of different placement directions 農業(yè)工程學報 http www tcsae org 2022 年 154 4 4 種苗切割試驗 為了驗證蝴蝶蘭種苗切割系統(tǒng)實際切割效果 選取 4 個培養(yǎng)母瓶內 38 株蝴蝶蘭種苗樣本分為 4 組進行切割試 驗 為保證試驗安全性 設置機械臂速度為 86 5 mm s 單株連續(xù)切割延時為 0 5 s 根據蝴蝶蘭組培苗工廠化生 產技術規(guī)程 29 本文將不傷害種苗內根且根部殘留長度 不超過 3 mm 樣本評定為合格 切割完成后根部結構不會 阻礙移植 以每個植株獨立根部為單位 切割合格率通 過測量統(tǒng)計計算得到 合格率 p 為 1 0 100 N p N 12 式中 0 N 為總根部數 1 N 為合格切割數 種苗切割現(xiàn)場如圖 13 所示 圖 13a 中機械臂處于待 命狀態(tài) 經視覺系統(tǒng)檢測和坐標計算系統(tǒng)計算后 將切 割點坐標傳輸給機械臂控制系統(tǒng) 驅動切割執(zhí)行機構進 行切割 圖 13b 機械臂執(zhí)行切割動作 a 視覺檢測 b 執(zhí)行切割 a Visual inspection b Cutting execution 圖 13 種苗切割現(xiàn)場 Fig 13 Seedling cutting site 切割統(tǒng)計結果如表 2 所示 在 4 組試驗中 蝴蝶蘭 種苗切割系統(tǒng)切割最高合格率為 100 平均合格率高于 86 平均切割時間小于 18 s 切割結果如圖 14 所示 表 2 種苗切割試驗結果 Table 2 Results of seedling cutting test 組號 No 植株數 Number of plants 切割次數 Number of cutting 合格數 Number of qualified 合格率 Qualified rate 每株平均切割時間 Average cutting time for each plant s 1 7 19 18 94 7 17 4 2 10 24 24 100 15 6 3 11 29 25 86 2 16 0 4 10 26 23 88 4 15 9 a 切割前種苗圖像 b 切割后種苗圖像 a Seedling image before cutting b Seedling image after cutting 圖 14 蝴蝶蘭種苗切割結果圖 Fig 14 The cutting effects of phalaenopsis seedling 不合格切割動作統(tǒng)計中 因種苗內根損傷判定為不 合格的共計 3 個 因根部殘留長度過長判定不合格的共 計 5 個 內根損傷原因主要是邊界框檢測不準確造成的 切點定位偏差 切割過程中誤傷到其他部位 針對檢測 框位置不準確的問題 可對標注方案進行改善 同時進 一步優(yōu)化算法 提升檢測精度 5 結 論 1 本文設計了一種基于視覺伺服的蝴蝶蘭種苗自動 化切割系統(tǒng) 以輕量化檢測模型 ShuffleNet v2 YOLOv5 作為種苗識別檢測器 基于種苗自身結構設計了由目標 框引導的切點定位算法 通過手眼標定建立視覺采集系 統(tǒng)和切割執(zhí)行系統(tǒng)間映射關系 配合機械臂切割控制策 略可以完成對蝴蝶蘭種苗的自動化切割 針對種苗的切 割需求設計了一種彈性末端切割結構 該結構能在保證 切割末端穩(wěn)定 有效完成切割作業(yè) 2 對比 Faster RCNN YOLOv4 YOLOv5 MobileNet v2 YOLOv5 ShuffleNet v2 YOLOv5 5 種常見的目標檢測 算法 輕量級目標檢測算法 ShuffleNet v2 YOLOv5 整體 檢測準確率達 96 7 單張圖片檢測時間 0 026 s 3 試驗證明蝴蝶蘭種苗切割系統(tǒng)能在保證種苗結構 不被破壞的前提下有效完成切割任務 在 38 株種苗切割 試驗中系統(tǒng)切割合格率高于 86 單株平均切割時間小 于 18 s 針對種苗各部位間可能存在的遮擋或重疊情況 單 機械臂切割難以完成如此復雜的切割任務 下一步研究 中 擬采用雙機械臂協(xié)作方案 由一只機械臂進行種苗 的夾取和翻轉 另一只機械臂完成切割動作 實現(xiàn)對遮 擋和重疊情況的有效切割 參 考 文 獻 1 Li C Dong N Zhao Y M et al A review for the breeding of orchids Current achievements and prospects J Horticultural Plant Journal 2021 7 5 380 392 2 Gallo F R Souza L A Milaneze Gutierre M A et al Seed structure and in vitro seedling development of certain Laeliinae species Orchidaceae J Revista Mexicana de Biodiversidad 2016 87 1 68 73 3 Chang Y W Hsiao Y K Ko C C et al A Grading System of Pot Phalaenopsis Orchid Using YOLO V3 Deep Learning Model C International Conference on Network Based Information Systems Springer Cham 2020 498 507 4 任桂萍 王小菁 朱根發(fā) 不同光質的 LED 對蝴蝶蘭組織 培養(yǎng)增殖及生根的影響 J 植物學報 2016 51 1 81 88 Ren Guiping Wang Xiaojing Zhu Genfa Effect of LED in different light qualities on growth of Phalaenopsis plantlets J Chinese Bulletin of Botany 2016 51 1 81 88 in Chinese with English abstract 5 張彥妮 邊紅琳 陳立新 蝴蝶蘭幼嫩花梗組織培養(yǎng)和快 速繁殖 J 草業(yè)科學 2011 28 4 590 596 Zhang Yanni Bian Honglin Chen Lixin Tissue culture and rapid propagation of pedicels of early flowering Phalaenopsis amabilis J Pratacultural Science 2011 28 4 590 596 in Chinese with Engli