智能采摘機(jī)器人視覺(jué)識(shí)別與末端執(zhí)行器自適應(yīng)抓取策略_艾家昊.pdf

2 0 2 5年 第8期 中國(guó)農(nóng)機(jī)裝備 智能農(nóng)業(yè)裝備 智能采摘機(jī)器人視覺(jué)識(shí)別與末端執(zhí)行器自適應(yīng)抓取策略 智能采摘機(jī)器人視覺(jué)識(shí)別與末端執(zhí)行器自適應(yīng) 抓取策略 艾家昊 張楠 趙吉慶 江蘇航空職業(yè)技術(shù)學(xué)院 鎮(zhèn)江 212134 摘要 探討了視覺(jué)識(shí)別技術(shù)與末端執(zhí)行器自適應(yīng)抓取策略 在闡述視覺(jué)識(shí)別系統(tǒng)的工作原理 關(guān)鍵算法及其在果實(shí)識(shí)別與定位 中應(yīng)用的基礎(chǔ)上 分析了末端執(zhí)行器自適應(yīng)抓取的影響因素 提出了相應(yīng)的自適應(yīng)抓取策略 通過(guò)實(shí)驗(yàn)驗(yàn)證了所提策略能有效 提高采摘機(jī)器人的識(shí)別準(zhǔn)確率和抓取成功率 為智能采摘機(jī)器人的進(jìn)一步發(fā)展提供了實(shí)踐參考 關(guān)鍵詞 智能采摘機(jī)器人 視覺(jué)識(shí)別 末端執(zhí)行器 自適應(yīng)抓取策略 1 引言 隨著農(nóng)業(yè)現(xiàn)代化的推進(jìn) 水果采摘的勞動(dòng)強(qiáng)度大 效率低等問(wèn)題日益凸顯 智能采摘機(jī)器人作為解決這 一問(wèn)題的有效手段受到了廣泛關(guān)注 視覺(jué)識(shí)別技術(shù)能 夠準(zhǔn)確識(shí)別和定位果實(shí) 末端執(zhí)行器的自適應(yīng)抓取策 略則能根據(jù)果實(shí)特性實(shí)現(xiàn)精準(zhǔn)抓取 二者結(jié)合可顯著 提高采摘機(jī)器人的性能 對(duì)提高農(nóng)業(yè)生產(chǎn)效率 降低 勞動(dòng)成本具有重要意義 本文首先研究視覺(jué)識(shí)別技術(shù) 分析不同算法在果實(shí)識(shí)別中的應(yīng)用 然后探討末端執(zhí) 行器自適應(yīng)抓取的影響因素 提出自適應(yīng)抓取策略 最后通過(guò)實(shí)驗(yàn)驗(yàn)證策略的有效性 2 智能采摘機(jī)器人視覺(jué)識(shí)別技術(shù) 2 1 視覺(jué)識(shí)別系統(tǒng)組成 智能采摘機(jī)器人的視覺(jué)識(shí)別系統(tǒng)是其實(shí)現(xiàn)精準(zhǔn)采 摘的關(guān)鍵部分 主要由硬件部分組成 3 攝像頭作為 系統(tǒng)的 眼睛 負(fù)責(zé)捕捉采摘場(chǎng)景的圖像信息 其 選型至關(guān)重要 需考慮分辨率 幀率 視野范圍等參 數(shù) 以適應(yīng)不同果實(shí)的識(shí)別需求 1 2 圖像采集卡則 將攝像頭采集到的模擬信號(hào)轉(zhuǎn)換為數(shù)字信號(hào) 并傳輸 給計(jì)算機(jī)進(jìn)行處理 計(jì)算機(jī)作為核心處理單元 具備 強(qiáng)大的計(jì)算能力 能夠運(yùn)行復(fù)雜的圖像處理和識(shí)別算 法 各硬件相互協(xié)作 共同完成視覺(jué)識(shí)別任務(wù) 2 2 關(guān)鍵圖像處理算法 圖像采集是視覺(jué)識(shí)別的第一步 需要根據(jù)采摘環(huán) 境和果實(shí)的特性合理設(shè)置攝像頭的參數(shù) 比如焦距 光圈等 以確保采集到清晰 準(zhǔn)確的圖像 因此 為 提高圖像質(zhì)量 減少噪聲干擾 采用中值濾波算法對(duì) 圖像進(jìn)行去噪處理 中值濾波的基本原理是用像素點(diǎn) 鄰域灰度值的中值代替該像素點(diǎn)的灰度值 其數(shù)學(xué)表 達(dá)式為 g x y median f s t s t S xy 1 式中 g x y 為輸出圖像在點(diǎn) x y 處的灰度值 f s t 為輸入圖像在點(diǎn) s t 處的灰度值 S xy 為以 x y 為中心的鄰域 采用基于顏色特征的圖像分割方法 將果實(shí)從背 景中分離出來(lái) 通過(guò)設(shè)定合適的顏色閾值 將圖像中 符合果實(shí)顏色特征的像素點(diǎn)提取出來(lái) 形成二值圖像 常用的方法有基于閾值的分割 基于邊緣的分割等 為后續(xù)的特征提取與識(shí)別奠定基礎(chǔ) 在識(shí)別算法方面 利用支持向量機(jī) SVM 算法 進(jìn)行分類識(shí)別 SVM 算法通過(guò)尋找最優(yōu)分類超平面 將不同類別的果實(shí)區(qū)分開(kāi)來(lái) 3 末端執(zhí)行器自適應(yīng)抓取策略 3 1 影響自適應(yīng)抓取的因素分析 智能采摘機(jī)器人末端執(zhí)行器的自適應(yīng)抓取效果受 多重因素制約 4 5 從果實(shí)特性來(lái)看 不同種類果實(shí) 大小差異顯著 例如草莓小巧玲瓏 而西瓜則碩大飽 滿 這對(duì)末端執(zhí)行器的抓取尺寸范圍和抓取力度控制 提出不同要求 環(huán)境因素同樣不容忽視 光照強(qiáng)度和 角度變化會(huì)干擾視覺(jué)識(shí)別系統(tǒng) 進(jìn)而影響末端執(zhí)行器 作者簡(jiǎn)介 艾家昊 1996 08 男 助教 研究方向 無(wú)人機(jī)技術(shù) 計(jì)算機(jī)軟件 2 0 2 5年 第8期 中國(guó)農(nóng)機(jī)裝備 智能農(nóng)業(yè)裝備 智能采摘機(jī)器人視覺(jué)識(shí)別與末端執(zhí)行器自適應(yīng)抓取策略 的定位精度 機(jī)器人自身因素也起著關(guān)鍵作用 運(yùn)動(dòng) 精度不足會(huì)導(dǎo)致末端執(zhí)行器無(wú)法準(zhǔn)確到達(dá)目標(biāo)位置 影響抓取成功率 控制算法的優(yōu)劣直接影響末端執(zhí)行 器的響應(yīng)速度和抓取動(dòng)作的協(xié)調(diào)性 3 2 自適應(yīng)抓取策略 針對(duì)不同果實(shí)特性 需制定差異化抓取策略 對(duì) 于易損傷的果實(shí) 如草莓 葡萄等 采用小抓取力和 包絡(luò)式抓取方式 末端執(zhí)行器配備柔軟的硅膠材質(zhì)手 指 以較小壓力均勻包裹果實(shí) 避免局部壓力過(guò)大造 成損傷 利用視覺(jué)傳感器和其他環(huán)境傳感器實(shí)時(shí)感知 采摘環(huán)境變化 當(dāng)檢測(cè)到枝葉遮擋時(shí) 視覺(jué)系統(tǒng)分析 遮擋程度和位置 控制機(jī)器人調(diào)整末端執(zhí)行器的運(yùn)動(dòng) 軌跡 繞過(guò)枝葉接近果實(shí) 力反饋控制原理是通過(guò)力 傳感器實(shí)時(shí)感知果實(shí)與末端執(zhí)行器之間的接觸力 當(dāng) 末端執(zhí)行器接近果實(shí)并開(kāi)始接觸時(shí) 力傳感器將接觸 力信號(hào)傳輸給控制系統(tǒng) 控制系統(tǒng)根據(jù)預(yù)設(shè)的抓取力 閾值 動(dòng)態(tài)調(diào)整驅(qū)動(dòng)裝置的輸出 3 3 自適應(yīng)抓取策略仿真與實(shí)驗(yàn)驗(yàn)證 建立智能采摘機(jī)器人的仿真模型 模擬不同果實(shí) 特性 環(huán)境條件和抓取場(chǎng)景 對(duì)自適應(yīng)抓取策略進(jìn)行 仿真分析 通過(guò)仿真結(jié)果評(píng)估策略的有效性和可行性 優(yōu)化策略參數(shù) 設(shè)計(jì)實(shí)際采摘實(shí)驗(yàn) 在真實(shí)的果園環(huán) 境中進(jìn)行測(cè)試 對(duì)比不同策略下的抓取成功率和果實(shí) 損傷率 實(shí)驗(yàn)數(shù)據(jù)顯示 采用自適應(yīng)抓取策略后 抓 取成功率顯著提高 果實(shí)損傷率明顯降低 驗(yàn)證了該 策略在實(shí)際應(yīng)用中的優(yōu)越性 4 實(shí)驗(yàn)與結(jié)果分析 4 1 實(shí)驗(yàn)?zāi)康呐c場(chǎng)景搭建 實(shí)驗(yàn)旨在全面驗(yàn)證智能采摘機(jī)器人視覺(jué)識(shí)別與末 端執(zhí)行器自適應(yīng)抓取策略的有效性 評(píng)估機(jī)器人在不 同實(shí)際采摘場(chǎng)景下的性能表現(xiàn) 實(shí)驗(yàn)場(chǎng)景搭建在一片 真實(shí)的果園中 果園內(nèi)種植了多種常見(jiàn)水果 包括蘋(píng) 果 梨和葡萄 這些水果在大小 形狀 顏色和成熟 度上存在一定差異 能夠充分模擬實(shí)際采摘過(guò)程中可 能遇到的各種情況 實(shí)驗(yàn)設(shè)備包括智能采摘機(jī)器人本體 其配備了高 分辨率的視覺(jué)識(shí)別攝像頭 多自由度的機(jī)械臂以及帶 有多種傳感器的末端執(zhí)行器 4 2 實(shí)驗(yàn)步驟 圖像采集 在果園的不同區(qū)域 不同光照條件下 使用視覺(jué)識(shí)別攝像頭采集水果的圖像數(shù)據(jù) 共采集了 1000 張?zhí)O果圖像 800 張梨圖像和 600 張葡萄圖像 涵蓋了不同成熟度和背景環(huán)境 圖像預(yù)處理 對(duì)采集到的圖像進(jìn)行去噪 增強(qiáng)和 分割等預(yù)處理操作 以提高圖像質(zhì)量和突出水果特征 特征提取與識(shí)別 利用訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò) CNN 模型對(duì)預(yù)處理后的圖像進(jìn)行特征提取和識(shí)別 記錄模型對(duì)每種水果的識(shí)別結(jié)果 包括正確識(shí)別的圖 像數(shù)量和錯(cuò)誤識(shí)別的圖像數(shù)量 抓取目標(biāo)設(shè)定 根據(jù)視覺(jué)識(shí)別系統(tǒng)的結(jié)果 將機(jī) 器人引導(dǎo)至水果所在位置 針對(duì)每種水果 分別設(shè)置 不同的抓取難度級(jí)別 如簡(jiǎn)單 無(wú)枝葉遮擋 果實(shí)位 置明顯 中等 有少量枝葉遮擋 和困難 有較多 枝葉遮擋 果實(shí)位置較隱蔽 抓取操作 啟動(dòng)末端執(zhí)行器的自適應(yīng)抓取策略 根據(jù)水果特性和環(huán)境感知信息 調(diào)整抓取方式 抓取 力和運(yùn)動(dòng)軌跡 記錄每次抓取的成功與否 以及抓取 過(guò)程中果實(shí)是否受到損傷 將視覺(jué)識(shí)別和末端執(zhí)行器自適應(yīng)抓取策略進(jìn)行綜 合應(yīng)用 模擬完整的采摘流程 讓機(jī)器人在果園中自 主移動(dòng) 依次對(duì)不同區(qū)域 不同類型的水果進(jìn)行識(shí)別 和抓取 記錄整個(gè)采摘過(guò)程中的各項(xiàng)數(shù)據(jù) 包括采摘 時(shí)間 采摘成功率 果實(shí)損傷率等 4 3 實(shí)驗(yàn)結(jié)果及分析 在蘋(píng)果圖像識(shí)別中 正確識(shí)別了920 張 錯(cuò)誤識(shí)別 了 80 張 識(shí)別準(zhǔn)確率為 92 在圖像識(shí)別中 正確識(shí)別 了 730 張 錯(cuò)誤識(shí)別了 70 張 識(shí)別準(zhǔn)確率為 91 25 葡 萄圖像識(shí)別中 正確識(shí)別了550 張 錯(cuò)誤識(shí)別了50 張 識(shí)別準(zhǔn)確率為 91 67 總體來(lái)看 視覺(jué)識(shí)別系統(tǒng)在不同 水果的識(shí)別上均取得了較高的準(zhǔn)確率 在不同抓取難度級(jí)別下 末端執(zhí)行器的抓取成功 率如表 1 所示 表 1 末端執(zhí)行器抓取成功率 水果 類型 簡(jiǎn)單難度 抓取成功率 中等難度 抓取成功率 困難難度 抓取成功率 蘋(píng)果 95 88 75 梨 93 85 72 葡萄 90 80 68 果實(shí)損傷率方面 蘋(píng)果的平均損傷率為 3 梨 的平均損傷率為 4 葡萄的平均損傷率為 5 在綜合實(shí)驗(yàn)中 機(jī)器人完成一次完整的采摘任務(wù)