1 介紹

21世紀的農業面臨著一個關鍵挑戰：開發創新且廣泛適用的技術和方法，以滿足快速增長的食物生產需求，同時解決氣候危機和世界人口增長的后果。

溫室和其他保護種植系統可以應對這些挑戰，因為它們通過為作物提供遮蔽，防止不良天氣和害蟲，延長生長季節，節約用水和減少有害化學品的使用，從而提高產品產量和質量。然而，溫室種植的廣泛采用目前受到初始投資、能源消耗和勞動力等高成本的限制，同時管理養分供應、控制環境參數和減輕疾病和害蟲的復雜性也在增加。因此，溫室種植通常僅限于相對較少的高價值作物（例如番茄、黃瓜、辣椒和綠葉蔬菜）。

溫室的結構化特性和受控環境促進了自動化技術和智能機器人系統的集成，以實現效率提升、減少對人工勞動力的依賴和成本，并優化植物生長與生產力。溫室機器人能夠協助或自主完成多種任務，包括種植、施肥和/或噴灑農藥、授粉、作物監測與表型分析、數據收集，以及收獲甚至修剪。此外，機器學習（ML）和其他人工智能工具已經在管理和分析從溫室收集的復雜數據方面產生重大影響，以支持上述目標。

在此背景下，我們提出一個用于溫室作物智能自動化監測的集成框架，旨在能夠較早發現疾病和害蟲。我們的目標作物是番茄，它是農業和全球糧食供應中最重要的作物之一，無論是在經濟重要性方面，還是在營養價值與健康方面。該框架是在 SOUP 項目范圍內開發的，結合使用機器人移動平臺自主采集植物的多光譜圖像，以及基于機器學習的工具來分析獲取的圖像，以檢測潛在的害蟲感染或疾病侵襲，以便采取適當和及時的行動來控制并根除它們。我們提出的框架的實現設計為易于在溫室設施中部署，利用堅固且經過實地驗證的組件。

本文其余部分組織如下：第二節概述相關工作。第三節描述了所提出框架的組件和技術。第四節展示實驗結果，第五節進行討論，而第六節提供結論性意見和對未來工作的建議。

2 相關工作

2.1 植物病害檢測

害蟲和植物病害的檢測通常依靠人工和實踐經驗進行。相比之下，自動化檢測可以成為更結構化流程的一部分，具有明顯的優勢。盡管面臨各種障礙，葉片病灶檢測仍存在受影響葉片與周圍環境之間變化不明顯、對比度差、病灶面積大小波動、圖像噪聲以及光照變化等問題。

使用手工特征的傳統方法面臨太多困難；而深度學習的出現則徹底改變了病蟲害檢測的狀態。以下給出了一些典型方法。整體方法通過表征整個圖像來進行描述是否包含病變。這類研究主要使用了卷積神經網絡（CNNs），其中使用了葉片圖像，或者將手機攝像頭獲取的圖像輸入到 ResNet 架構中。

局部檢測方法通常旨在以邊界矩形的形式定位病變。為此，已使用如 Faster R-CNN 等兩階段網絡。在兩階段情況下，首先計算區域建議，然后使用相關特征圖在 ROI 池化后對區域進行分類。在單階段網絡中，檢測部分嵌入到骨干網絡中，這簡化了整體過程，比如使用 SSD 架構處理來自 17 個疾病類別的現場圖像；另一種常用的架構是 YOLO，采用了 CNN：一個異常檢測模型，驗證輸入圖像是否有效（即包含占據圖像適當部分的葉片）；然后一個疾病識別模型檢測輸入圖像中葉片上的病變并識別病變的可能原因。

當對病變進行完全分割時，可以提供更詳細的信息，通常使用各種配置的全卷積神經網絡。其他方法使用 Mask R-CNN 架構。然而，在大多數應用中，將病變作為邊界矩形進行檢測就足夠了。

迄今為止，將此類方法集成到移動機器人平臺上相對有限，因為假設采集主要由手完成，甚至更糟是在被背景分開的平坦葉片上，這給出了相當樂觀的結果。在如何利用其他光譜通道（例如紅外）的信息以及這是否有幫助方面，也有有限的工作。

2.2 溫室作物監測機器人

為了有效部署開發的方法來監測作物中的植物健康，需要定期收集和分析作物中大部分植物的數據。

為此，一種有效的解決方案是將成像傳感器安裝在自主導航的移動機器人上，通過依次成像單株植物來收集數據。文獻中已報道越來越多的此類系統，包括用于疾病/害蟲檢測或植物監測和表型的任務特定機器人，以及結合檢測與靶向干預（如農藥噴灑）的多功能機器人。由于許多目標植物（包括番茄）可以長到相當的高度，因此建議將成像傳感器安裝在可擴展平臺或機械臂上，以實現有效和多功能的數據收集。

      機器人平臺的自主導航是自動化植物監測過程的關鍵前提。與露天作物基于衛星的 GNSS 導航不同，這種方式通常在溫室內部不可行，因為溫室常用的建筑材料（如玻璃、聚碳酸酯或塑料薄膜）會阻擋 GNSS 信號。因此，在溫室內部導航需要采用替代的定位方法，例如室內定位系統（IPS）和傳感器融合。IPS系統使用放置在溫室周圍的信標或標簽，通過無線電波、紅外線或超聲波信號來三角測量機器人的位置。傳感器融合方法依賴于激光雷達、深度相機和超聲波測距儀等多種傳感器的組合，并結合適當的算法來提供定位信息。然而，這種高級傳感元件套件的成本仍然相對較高，而其長期運行可靠性可能會受到系統復雜性以及溫室（主要是高溫和濕度增加）的不利工作環境的影響。更簡單但功能較少的解決方案涉及機器人平臺沿固定路徑移動，并結合某種形式的里程計來定位其在溫室內的位置。 一個典型的例子是設計用于在作物行之間的現有供暖管道上移動的移動機器人。在溫室內部固定機器人運動路徑的其他方法包括使用光學線跟蹤和附加的二維碼標記來輔助定位，以及使用磁性引導傳感器沿著鋪設在地板上的磁帶來運動。

3 框架組件和技術

我們提出的框架包含一套基于機器學習的圖像分析工具來用于疾病檢測，以及一個機器人平臺來用于在溫室內部自動收集數據。這些組件如下所示。

3.1  疾病檢測工具

我們所提出框架中的集成疾病檢測工具考慮了番茄植物的兩個最重要的病害，即白粉病和番茄潛葉蛾。它們是利用機器學習方法和一個廣泛的多光譜數據集開發的，具體描述如下。

多光譜數據集：我們的數據集包含 314 條記錄，涵蓋了本研究考慮的兩種疾病。這些記錄都標記了植物和感興趣區域（RoI）。與文獻中引用的大多數使用傳統 RGB 相機捕獲的數據集不同，我們公開可訪問的數據集是通過多光譜相機獲得的。此外，這些圖像是在溫室內部拍攝的，這減少了整個數據集中的環境變化。

數據集圖像是通過Spectricon  Muses9-ms-pl多光譜相機拍攝的。該相機配備4-6百萬像素的C-MOS傳感器，能夠以每秒25幀的速度錄制，覆蓋370-1100 nm光譜范圍。每臺相機的拍攝會捕捉到總共8個通道，圖像分辨率為1776×2368像素。該相機使用 USB3.0 接口。

對于數據集中的每張圖像，都提供了一個8通道的立方體。多光譜相機捕獲的8個通道中，前三個通道是通過相機的 RGB 傳感器獲取的，而其余通道則通過多光譜傳感器獲得。對于這個數據集，選擇了三個多光譜通道，分別為460nm（近藍光）、540nm（近綠光）和630nm（近紅光）。這些波段如表1所示。盡管多光譜相機選擇的波長與 RGB 相機使用的波長相似，但多光譜傳感器在這些頻率上的響應比RGB相機更集中。具體來說這個數據集選擇的多光譜通道中有三個分別為 460nm（近藍光）、540nm（近綠光）和630nm（近紅光）。此外，最后兩個通道位于紅外光譜區域，分別為850nm和980nm。

表1：MUSES9-MS-PL 相機支持的波長區域以及當前研究中使用的區域。

病灶檢測：我們的病灶檢測方法將其視為一個目標檢測任務，因此我們采用了Faster-RCNN模型。我們使用了RGB通道和980nm波段，并結合了一個帶有Faster-RCNN頭的自定義模型。類似于，我們使用了兩個相同的預訓練骨干網絡，一個用于處理RGB通道，另一個用于處理980nm波段。架構如圖1所示。為了從輸入中提取特征我們采用了兩種ResNet架構，一個用于處理RGB通道，另一個用于處理980nm波段圖像，然后使用一個基本的2D卷積層將它們結合在一起。得到的特征隨后通過FasterRCNN頭進行進一步處理。

圖 1：多通道疾病檢測模塊。它接收 RGB 通道和 NIR 通道，將它們分別通過各自的 ResNets 提取特征，并通過卷積層后，通過 FasterRCNN 網絡實現檢測

圖 2 展示了整體處理流程。在圖像采集后，基于其均值和標準差對光譜立方體進行歸一化，以符合COCO數據集設定的先驗，我們利用該數據集預訓練模型。為處理誤報，我們通過使用圖像的NDVI指數裁剪出背景塊，即僅保留葉綠素密度高的區域（分割步驟）。隨后，歸一化的光譜立方體被輸入深度神經網絡的檢測流程。該流程生成邊界框，表示為(x, y,寬度,高度)，以及相應的分類分數。每個邊界框定義了潛在病灶的邊界。在最后一步，基于網絡的置信度對生成的邊界框進行過濾。

圖 2：包括圖像采集、背景分割、疾病檢測和評估的整體處理流程。

在參考文獻中，最常用的評估指標是考慮分類精確度和召回率的指標，而對于檢測部分則是基于目標與預測的交并比（IoU）。我們的任務更加精細，需要一種指標來正確測量每張圖像的檢測混淆矩陣。為此，我們設計了一種算法，將每個目標與其“最接近”的檢測匹配。在該階段之后剩余的所有缺陷都被計為假陽性。

3.2 機器人系統

上述疾病檢測工具被用作自動化溫室管理集成系統的一部分，該系統采用圖3所示的機器人平臺。該機器人設計用于部署在溫室作物中，以實現植物診斷數據的自動收集（本工作的重點）、通過噴灑進行植物保護以及水果的收獲。

圖 3：機器人平臺。

在本次提出的場景中，溫室機器人用于以系統的方式監測番茄作物通過定期從一致的角度采集植物的多光譜圖像。圖像自動上傳到數據庫，供疾病檢測工具后續檢索分析。

機器人平臺：該機器人基于改裝的商業垂直桅桿式移動平臺（Bravi平臺Leonardo HD）構建。選擇這種特定車輛是基于其重型結構、良好的整體機動性、高達180公斤的大負載能力，以及將工作平臺提升至離地面最高2.9米的能力。這一特點結合機械臂的可達范圍，使得能夠照料超出人類工人可達范圍的植物，從而有可能通過允許植物比傳統栽培長得更高，從而提高產品產量。差速轉向車輛有一對驅動前輪和兩個自由旋轉的后輪。在其出廠配置中，移動底座由人工操作員通過手動搖桿驅動。為了實現其自動化運行，進行了一系列的改造和增配。改造完成后，車輛的移動以及垂直桅桿升降機的操作，現在都通過一臺工業P（戴爾嵌入式 Box PC5000）控制，該PC運行ROS系統，并作為機器人的主要控制單元。

在導航方面，機器人采用磁導引系統，該系統由磁軌傳感器（Roboteq MGS1600）和貼在地面上的磁帶組成。傳感器安裝在移動底盤的前部（見圖3），用于檢測形成機器人預定路徑的磁帶，并利用PI轉向控制律進行導航。地面上的附加磁標記有助于路徑規劃算法引導機器人到達特定通道中的單個植物。磁導引系統是一種可靠、經濟且靈活的解決方案，被廣泛應用于工業和倉庫環境中的自動導引車（AGV）。為了確定機器人的位置，通過融合驅動輪電機上的增量編碼器數據和安裝在車輛底部的光學流傳感器（Roboteq FLW100）的數據來獲取里程計數據。

溫室機器人配備了一臺安裝在垂直桅桿提升甲板前方的Universal Robots UR10e 6自由度機械臂，以方便進行輔助植物管理任務。UR10e機械臂非常適合這項應用，其工業級結構、1.3米的較大工作范圍以及12公斤的高負載能力。此外，該機械臂兼容ROS，使其更容易與溫室機器人的整體控制系統集成。

該機械臂的定制多功能末端執行器集成了Spectricon Muses9-ms-pl多光譜相機（即用于疾病檢測工具開發的相機）用于植物監測，以及一臺用于收獲任務的深度相機（Intel RealSense D435）。多光譜相機直接連接到機器人的主控單元，而深度相機則連接到一個Nvidia Jetson Nano SBC，該SBC作為專用的視覺處理單元。

圖 4：為植物成像指定多光譜相機定位而開發的 Matlab 模擬快照。

植物成像：要拍攝番茄植株，機械臂將相機定位在預定義位置以獲取一系列多光譜圖像。這些位置借助Matlab中開發的仿真工具確定（見圖4），該工具利用機器視覺工具箱，基于以下簡化假設：i) 相機的光軸始終垂直于拍攝平面，ii) 拍攝的植物與相機的距離處處相同，iii) 視場內沒有因鏡頭或制造缺陷引起的畸變。算法的輸入數據包括：i) 番茄攀爬植物的寬度和高度，ii) 相機與拍攝植物的平均距離，以及 iii) 所用相機的內參（焦距、垂直和水平視場、成像分辨率和像素尺寸）。算法的目標是確定圖像平面到拍攝平面的映射關系，進而計算末端執行器所需的水平和垂直增量位移。

機器人以兩列的方式對每株植物進行側面拍攝，末端執行器以Π形子模式移動（見圖5），子模式的高度可延伸至四個圖像采集位置，基于機械臂的可達范圍。如果植物更高，則升起提升平臺，并獲取新的子模式。對于每個成像位置，通過求解機械臂的逆運動學來保持相機方向與地面平行。數據庫：多光譜相機捕獲的植物圖像被壓縮并上傳至已設置為亞馬遜網絡存儲服務器的云數據庫。同時，數據庫中添加相應的條目，以將收集的數據與相應的植物及其在溫室內的位置相關聯。然后，通過第四節A中介紹圖像分析工具檢索圖像，以檢測和識別潛在病害。

圖 5：植物檢查程序的Gazebo仿真，涉及從8個位置沿Π形圖案獲取一系列多光譜圖像。

4 實驗結果

4.1  疾病檢測工具

在希臘赫拉克利翁的希倫尼科斯地中海大學（HMU）的實驗溫室設施中，于秋季對開發的疾病檢測工具進行了評估。將Solanum lycopersicum var. ELPIDA 品種的番茄幼苗在四片真葉階段移植到巖棉板上，這些巖棉板放置在覆蓋著聚乙烯薄膜的不供暖的雙跨拱形溫室中。

為了產生人工的潛葉蛾侵害，從一個當地商業溫室收集的昆蟲中開始建立群體，并在實驗室（25℃；濕度 75 ±5%；12 小時亮：12 小時暗）中通過喂食番茄植物維持四周。八周后，成蟲被移入實驗溫室內的兩個防蟲室中。隨后，十二株無感染、九片完全發育的葉子的番茄植株每平方米被三個成蟲侵害。要制備人工白粉病菌感染，從當地商業溫室中生長的番茄植株幼葉中分離出霜霉菌。通過用水強烈清洗感染葉片來收集分生孢子。

處理完成后，番茄植株每天使用標準營養液進行施肥，該營養液根據計算得出，并使用自動營養混合系統。在人工接種和定殖兩周后，每三天使用多光譜相機對番茄植株進行采樣。

我們使用了基于 Pytorch 的 Faster-RCNN 實現，其骨干特征提取器在ImageNet上預訓練，而整個網絡在COCO’17上預訓練。從該初始模型開始，我們繼續在驗證控制約束下進行訓練。具體來說，當驗證損失達到第一個局部最小值時，我們停止訓練，容忍度為其最后值的5%。

為了評估使用近紅外通道的好處，我們進行了兩個實驗。第一個實驗，稱為A，將630nm、540nm和460nm的三個通道作為預訓練Faster-RCNN模型的輸入。在第二個實驗，B中，我們創建了一個具有兩個并行骨干的修改架構，以整合一個我們將另外三個通道加入我們的輸入。使用的通道是 850 nm，980 nm和閾值化的NDVI，第三個通道作為立方體葉片面積掩膜。指示結果如圖6和圖7所示，表2總結了我們的發現。可以看出，所開發的方法在檢測這兩種病害方面取得了非常好的整體性能。關于多光譜波段的使用，結果表明僅在LT情況下有積極影響。然而，需要進一步實驗以更全面地理解它們的優勢。

圖6：使用Faster-RCNN的檢測結果 (a)，(b)。紅色框表示得分超過 98%的邊界框。

圖7：微調 3 個通道后的檢測結果：630 nm，540 nm，460 nm。

表 2：實驗 A 和 B 的檢測結果。在此，圖像中存在疾病被視為成功檢測。為提高準確性，我們采用了五折交叉驗證方法，并對獲得的結果進行平均。

4.2  集成系統的實驗

我們在此展示在實驗室環境下進行的實驗結果，旨在評估所提出的機器人疾病檢測框架。實驗在學校工程學院的建筑走廊中進行。在3.2米寬的走廊兩側，安裝了一排9株植物（即總共18株），這些植物被放置在金屬提升式排水溝上，配置方式模擬了典型水培番茄溫室中兩排植物的排列。所有植物的高度和相對于固定參考框架的位置事先已知。這些番茄植株在 HMU 農業系的溫室設施中通過水培方式種植，根部置于生長袋中。其中14株植物健康狀況良好，其余4株被有意感染。感染包括兩種Tuta absoluta病例和兩種Leveillula taurica病例。

機器人通過地板中間位置放置的磁帶來引導行進。使用里程計數據在特定位置停止機器人，并用多光譜相機掃描走廊兩側的植物，然后移動到下一對植物（圖 8）。完整地拍攝走廊中所有 18 株植物大約需要 35 分鐘完成。

圖 8：機器人平臺實驗的攝影實例

在兩天內總共進行了四次這樣的運行以確保全面的數據收集。每天進行兩次運行，植物在運行之間顛倒以捕捉兩側的圖像。值得注意的是，所有四次運行都成功完成，未遇到任何問題或復雜情況。

圖 9 提供了指示性結果，展示了通過拼接使用多光譜相機獲取的圖像重建的三個番茄植株。請注意，與植株(b)和(c)相比，植株(a)獲取的圖像數量更多（16 張 vs 14 張），因為它更高。

獲取的圖像集隨后被檢索從數據庫中進行分析，檢測算法能夠正確識別感染植株及其具體病癥，且無假陽性（即所有健康植株均被正確識別為健康）。

圖 9：通過拼接實驗期間使用多光譜相機拍攝的圖像，獲得的番茄植株重建示例。

5 討論

總體而言，開發的疾病檢測工具在實際場景中證明非常有效，能夠識別受感染的番茄植株。我們的結果表明，與傳統的RGB圖像相比，使用多光譜圖像并未帶來顯著優勢，但顯然需要更多實驗來探索替代的深度架構。

關于集成系統，目前的一個限制是單株植物成像所需時間的增加，每側植物的時間范圍在80到150秒之間（取決于植物高度）。這其中的主要瓶頸是大型的多光譜圖像文件的獲取、打包和上傳到數據庫，每張圖像大約需要8秒。升級到更新、更高效的相機，并優化光譜波段配置，預計將在這方面帶來顯著改進，這對系統的實際應用具有重要意義。

在考慮該系統在田間應用時，還應指出，不必檢查每一株植物來確定作物是否感染了任何已訓練的疾病。在單株植物圖像中檢測到感染葉片就足以發出潛在作物感染的警報，并促使采取適當措施。根據所選的植物保護策略，這可能涉及實施全田預防性噴灑或針對受影響植物實施定點干預。

6 結論

我們已提出一個利用機器人和機器學習技術進行溫室番茄作物病蟲害檢測的框架。我們的實驗證明了檢測的準確性以及機器人平臺自動化系統性地執行植物成像任務的能力，且無需依賴人工。計劃在實際溫室中進行測試，以對系統進行更具應用導向的評價。

此外，目前已實施額外的圖像分析工具，以增加從植物成像數據中提取的有用信息量，包括植物生長率的估計以及番茄果實檢測和成熟度評估。

最后，開發的框架可以通過利用相同的機器學習方法和工具，方便地擴展到其他溫室作物，如辣椒或茄子，以檢測這些作物特有的病蟲害。結合集成到機器人系統中的農藥噴灑和果實收獲的附加功能，該系統可作為多功能且經濟高效的平臺，用于各種溫室作物的智能化自動化。

摘自：Nikolaos Kounalakis, Emmanouil Kalykakis, Dimitrios Kosmopoulos,John Fasoulas, and Michael Sfakiotakis：A framework leveraging robotics and machine learning technologies for early disease and pest detection in greenhouse tomato crops

轉在的目的在于傳遞更多的知識，如有侵權行為，請聯系我們，我們會立即刪除。