«上一篇/Previous Article|本期目录/Table of Contents|下一篇/Next Article»

《江苏农业科学》[ISSN:1002-1302/CN:32-1214/S]

卷:

第51卷

期数:

2023年第15期

页码:

164-173

栏目:

农业工程与信息技术

出版日期:

2023-08-05

文章信息/Info

Title:

Crop disease identification based on bimodal feature fusion and HGNN

作者:

张净¹; 邵文文¹; 刘晓梅²; 李贺亮³; 高跃⁴; 张轩诚⁴

1.江苏大学电气信息工程学院，江苏镇江 212013； 2.江苏科茂信息技术有限公司，江苏镇江 212000；3.江苏大学艺术学院，江苏镇江 212013； 4.清华大学软件学院，北京 100084

Author(s):

Zhang Jing; et al

关键词:

农作物病害; 超图神经网络; 卷积神经网络; 特征融合; 双模态

Keywords:

-

分类号:

TP391.41

DOI:

-

文献标志码:

A

摘要:

农作物叶部病害已经严重影响农作物的产量和质量，为提高农作物叶片病害识别的效果、减少经济损失、提高种植者的收益，提出基于超图的双模态特征融合的农作物病害识别算法BimodalFINet。BimodalFINet由文本模态分支、图像模态分支和超图神经网络构成。首先利用循环神经网络和改进的卷积神经网络构造图像文本双分支并行结构，提取语义特征信息和富含空间位置信息的特征表示，得到2种模态特征，然后利用特征融合方法实现各分支特征信息的互补与融合，得到包含更加丰富的病害双模态特征信息。最后利用超图神经网络将上述融合后的双模态特征信息进行编码以获得数据之间的相关性和数据表示，提升模型识别准确率。结果表明，BimodalFINet的文本模态分支TextRNN取得91.28%的识别准确率，图像模态分支RexNext50-CA取得89.20%的识别准确率，相比于单个ResNext50模型提高了1.08百分点，联合模态分支取得92.32%的识别准确率，相比于图像和文本单模态模型分别提高了3.12百分点和1.04百分点，加入超图后模型取得94.83%的识别准确率，相比于联合模态模型提高了2.51百分点。嵌入超图后的模型具有更好的特征提取能力，能够为田间环境下农作物的病害识别提供有效技术支持。

Abstract:

-

参考文献/References:

［1］王桂荣，王源超，杨光富，等. 农业病虫害绿色防控基础的前沿科学问题［J］. 中国科学基金，2020，34(4)：374-380.
［2］王景凤. 农作物科学种植及病虫害防治技术［J］. 农业灾害研究，2021，11(8)：166-167.
［3］张珂，冯晓晗，郭玉荣，等. 图像分类的深度卷积神经网络模型综述［J］. 中国图象图形学报，2021，26(10)：2305-2325.
［4］季长清，高志勇，秦静，等. 基于卷积神经网络的图像分类算法综述［J］. 计算机应用，2022，42(4)：1044-1049.
［5］陈超，齐峰.卷积神经网络的发展及其在计算机视觉领域中的应用综述［J］. 计算机科学，2019，46(3)：63-73.
［6］李书琴，陈聪，朱彤，等. 基于轻量级残差网络的植物叶片病害识别［J］. 农业机械学报，2022，53(3)：243-250.
［7］Too E C，Li Y J，Njuki S，et al. A comparative study of fine-tuning deep learning models for plant disease identification［J］. Computers and Electronics in Agriculture，2019，161：272-279.
［8］Simonyan K，Zisserman A.Very deep convolutional networks for large-scale image recognition［EB/OL］. (2014-09-14)［2022-10-05］. https：//arxiv.org/abs/1409.1556.
［9］He K M，Zhang X Y，Ren S Q，et al. Deep residual learning for image recognition［C］//2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas：IEEE，2016：770-778.
［10］Huang G，Liu Z，van der Maaten L，et al. Densely connected convolutional networks［C］//2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Honolulu：IEEE，2017：2261-2269.
［11］Xie S N，Girshick R，Dollár P，et al. Aggregated residual transformations for deep neural networks［C］//2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Honolulu：IEEE，2017：5987-5995.
［12］侯志松，冀金泉，李国厚，等. 集成学习与迁移学习的作物病害图像识别算法［J］. 中国科技论文，2021，16(7)：708-714.
［13］Hou Q B，Zhou D Q，Feng J S.Coordinate attention for efficient mobile network design［C］//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Nashville：IEEE，2021：13708-13717.
［14］Lai S W，Xu L H，Liu K，et al. Recurrent convolutional neural networks for text classification［C］//Proceedings of the Twenty-Ninth AAAI Conference on Artificial Intelligence. New York：ACM，2015：2267-2273.
［15］Berge C. Graphs and hypergraphs［M］. Amsterdam：North-Holland Pub.Co.，1973.
［16］Berge C. Hypergraphs：combinatorics of finite sets［M］. Amsterdam：North-Holland，1989.
［17］黄汝激. 超网络的有向k超树分析法［J］. 电子科学学刊，1987，9(3)：244-255.
［18］Feng Y F，You H X，Zhang Z Z，et al. Hypergraph neural networks［C］//Proceedings of the AAAI Conference on Artificial Intelligence，2019：3558-3565.
［19］Guo B，Zhang C X，Liu J M，et al. Improving text classification with weighted word embeddings via a multi-channel TextCNN model［J］. Neurocomputing，2019，363：366-374.
［20］Amajd M，Kaimuldenov Z，Voronkov I. Text classification with deep neural networks［C］//International Conference on Actual Problems of System and Software Engineering (APSSE). 2017：364-370.
［21］Yang Z C，Yang D Y，Dyer C，et al. Hierarchical attention networks for document classification［C］//Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics：Human Language Technologies.San Diego：Association for Computational Linguistics，2016：1480-1489.

相似文献/References:

[1]杜英杰,宗哲英,王祯,等.农作物病害诊断方法现状和展望[J].江苏农业科学,2023,51(6):16.
　Du Yingjie,et al.Current situation and prospect of diagnostic methods for crop diseases[J].Jiangsu Agricultural Sciences,2023,51(15):16.

备注/Memo

备注/Memo:

收稿日期：2022-11-05
基金项目：国家重点研发计划(编号：2019YFC1606600)。
作者简介：张净(1975—)，女，江苏镇江人，博士，副教授，硕士生导师，研究方向为计算机应用。E-mail：jszj08062000@163.com。
通信作者：邵文文，硕士研究生，研究方向为机器视觉。E-mail：355060863@qq.com。

常用功能

更新日期/Last Update: 2023-08-05