技術探索

影像辨識於智慧蜂箱之應用

工業技術研究院 資訊與通訊研究所 白炳川
工業技術研究院 中分院 陳博勳
農委會苗栗改良場 徐培修

全球自然界氣候與環境變遷,人為影響甚距,包括:環境汙染、農藥濫用、溫室氣體排放導致氣候變遷等,使得全球蜜蜂數量快速逐年衰減,更進一步影響自然界植物授粉不易,生態平衡受到嚴重挑戰。在經濟層面,養殖蜜蜂存活不易導致數量減少,使得蜂農收入下降。行政院農委會農業統計年報顯示,2018年蜂產品(蜂蜜、蜂皇漿)產值達新台幣40億元,養蜂戶數逐年增加,到了2020年蜂產品(蜂蜜、蜂皇漿)產值卻僅剩新台幣16億元。

蜂蟹螨為蜂產業危害最嚴重的外寄生螨,監測其族群為整合性防治害螨的重要基礎,但其個體小肉眼辨識不易。本團隊透過手機取像裝置,收集大量蜂蟹螨影像資料,藉由深度學習演算法開發自動辨識軟體,應用物聯網技術,設計自動監測系統。以蜜蜂與蜂蟹螨影像辨識透過YOLOv4深度學習架構[1]作訓練,訓練資料包含約4000張之蜂蟹螨影像和蜜蜂影像。訓練初步結果在蜂蟹螨部份和蜜蜂部分,其召喚率 (Recall) 分別可超過80.93%和81%、精準度 (Precision) 可達76%和83%。

本文透過工研院與農委會苗栗改良場合作,藉由苗改場智慧蜂箱場域與實際蜂蟹螨之影像蒐集,導入工研院所開發之人工智慧深度學習模型引擎於蜜蜂與蜂蟹螨影像辨識上,建置智慧蜂箱蜜蜂與蜂蟹螨辨識數位服務系統,並應用於國內蜜蜂螨害害蟲防治上。藉由蜜蜂的計數與蜜蜂身上之蜂蟹螨數量可推算蜂箱中蜂蟹螨之螨害嚴重性[2]。蜜蜂與蜂蟹螨辨識數位服務系統目前透過Google Cloud Platform (GCP) 運算訓練以外,也提供使用者Web網頁互動數位服務。未來此一數位模式可拓展至其他農作物病蟲害辨識,提供農企業集團或農民使用者更多服務選擇。

精彩內容

1. 蜜蜂與蜂蟹螨影響資料蒐集
2. 人工智慧深度學習模型引擎
3. 蜂蟹螨與蜜蜂監測數位服務

蜜蜂與蜂蟹螨影像資料蒐集

此次資料蒐集鎖定1200萬畫素以上之影像,包含蜂蟹螨在iPhone系列手機下擷取之影像資料(固定距離與方向)和蜂箱中蜜蜂在iPhone系列手機下擷取之影像資料,共4000張,參考如圖1。經苗改場專家協助標示蜂蟹螨與蜜蜂後可得蜂蟹螨標註數為416隻和蜜蜂標註數為46110隻。蟲紋特徵包含蟲體特徵、蟲體紋路、蟲腳特徵和蟲體各方向與方位特徵[3]等等。此外, 這次辨識物件有分大尺寸(蜜蜂)與小尺寸(蜂蟹螨),在影像裁切上評估過192x192、416x416、608x608、960x960和1280x1280等尺寸後以608x608之尺寸得到較好之辨識結果。

圖1 蜂蟹螨標示與蜜蜂標示

人工智慧深度學習模型引擎

上一段內文有提到,此次影像鎖定1200萬畫素之手持相機或手機。透過影像裁切608x608大小規格影像資料並以YOLOv4架構作訓練,開啟影像擴增和影像飽和度等參數。依照不同標的物件作蜂蟹螨與蜜蜂之標示與辨識。其訓練結果如圖2所示。蜂蟹螨(class 0)在準確度上經過測試可達76%、蜜蜂(class 1)準確度可達83%。在IOU評比上蜂蟹螨可達87%、蜜蜂可達70%。但由於蜜蜂在整體畫面中屬於大物件,經過評估與比較後IOU設0.3為最佳結果。故蜜蜂在IOU調整過後其準確度可拉到80%以上。以上皆在影像資料集為4000張之下模擬成果。

圖2 蜂蟹蟎(class 0)辨識結果vs.蜜蜂辨識結果(class 1)

透過此類分析與場域實地測試之狀況作比對,蜂蟹螨蟲害危害程度相符程度高達80%以上。以此類模型作些許架構上之調整後可成為智慧蜂箱蜂蟹螨與蜜蜂影像分析引擎主體,並透過此分析引擎可針對未來不同應用或者相同資料型態作相同流程分析與結果呈現。

蜂蟹螨與蜜蜂監測數位服務

目前已有蜂農於試驗場域透過此套數位監測服務作螨害防制,未來的新型智慧蜂箱蜜蜂養殖將會與以往傳統作法不同。以蜂農來說,通常會決定上千箱蜂箱位置後透過數位化感測與監測就可以即時得到各蜂箱內蜜蜂之狀態與活動情況。搭配此類新型螨害與蜜蜂監測系統,使用者(農民/農企業)可透過雲端建立之監測項目,完整掌握智慧蜂箱各項養殖指數結果,如圖3。

與農委會合作之蜂農藉由此監測服務,將智慧蜂箱系統外掛攝影機,以即時影像監測特製箱體內之蜂蟹蟎,進行病蟲危害之防治與蜂蜜產量之評估。蜂農可藉此諮詢農業專家之建議施予較佳農藥與早期之治療,並透過量化數據分析與影像證據,與遠距的農業專家作互動式意見交流,促進蜂蜜產量提升與友善環境。

圖3 建置於GCP雲端之蜂蟹螨與蜜蜂監測web service雛形

結語

工研院與農委會合作,開發智慧蜂箱內AI影像監測服務,藉以監測與評估蜜蜂養殖之病蟲害發生情況。蜂農先購買智慧蜂箱之硬體設備,通過智慧蜂箱的硬體設備聯網,將影像上傳,可免費使用蜂蟹螨與蜜蜂監測服務數位資訊系統,進行蜂蟹螨與蜜蜂數量之監測,再施以物理隔離、藥品防治等手段,避免病蟲害擴大,進而提升蜂蜜及相關蜂產品之產量,減少蜂農損失。此系統可進行長時監測,追蹤各種病蟲害防治手段及其效果,並可透過監測蜜蜂數量及活動力變化等因素,增加如:智慧蜂箱蜂蜜產量預估之功能,讓整體監測服務延伸至預測服務,更完善整體解決方案。

參考文獻

[1] Bochkovskiy, A., Wang, C., & Liao, H.M. (2020). YOLOv4: Optimal Speed and Accuracy of Object Detection. ArXiv, abs/2004.10934.
[2] Martin, Stephen. (1998). A population model for the ectoparasitic mite Varroa jacobsoni in honey bee (Apis mellifera) colonies. Ecological Modelling 109. Ecological Modelling. 109. 267-281. 1016/S0304-3800(98)00059-3.
[3] Wan-Ru Lin, Kuei-Tso Lee, Sheng-Jyh Wang, Ming-Hsin Lai, and Po-Hsun Chen, "A Monitoring and Forewarning System for Rice Planthoppers," Journal of Advanced Agricultural Technologies, Vol. 6, No. 3, pp. 180-186, September 2019. Doi: 10.18178/joaat.6.3.180-186