中国期刊网-投稿、查重、发表有保障。
您的位置: 主页 > 学术论文 > 农业论文 >

基于SCResNeSt的低分辨率水稻害虫图像识别

发布时间:2022-07-12 09:03:45

摘    要:针对稻田自然环境下害虫移动,难以近距离拍摄高质量图像,导致在现有识别模型检测时无法达到满意识别精度的问题,提出了一种基于SCResNeSt的低分辨率水稻害虫图像识别方法。首先,使用增强型超分辨率生成对抗网络(ESRGAN)对低分辨率图像进行数据增强,解决低分辨率水稻害虫有效信息少的问题;其次构建了SCResNeSt网络,使用3个连续的3×3卷积层替换ResNet50中第1个7×7卷积,以减少计算量;使用自校准卷积替代第2层卷积层中的3×3卷积,通过内部通信显式地扩展每个卷积层的视场,获取害虫图像的部分背景信息,从而丰富输出特征;在主干网络中使用ResNeSt block(Split-attention network block)进一步提升图像中害虫信息获取的准确性。最终,将优选模型移植到手机端,开发了轻量化的移动端水稻害虫识别系统。实验结果表明,与现有方法对比,ESRGAN数据增强方法可以恢复真实的作物害虫信息,SCResNeSt模型有效提高了水稻害虫的识别性能,识别精度达到了91.20%,比原始ResNet50网络提高了3.2个百分点,满足野外实际场景下的应用需求。本研究为水稻害虫智能化识别和防治提供了重要的技术基础。


关键词:水稻害虫图像;低分辨率; SCResNeSt;卷积神经网络;识别系统;


Low-resolution Rice Pest Image Recognition Based on SCResNeSt

ZENG Weihui ZHANG Wenfeng CHEN Peng

HU Gensheng LIANG Dong

School of Internet, Anhui University Central Research Institute, Guo Chuang Software Co,

Ltd, University of Science and Technology of China National Engineering Research Center

for Agro-Ecological Big Data Analysis & Application, Anhui University


Abstract:

It was difficult to take high-quality images when pests were still and in close distance in the natural environment of rice field, which led to the problem that satisfactory identification accuracy could not be achieved when using the actual environmental identification model detection. A low-resolution rice pest image recognition method based on SCResNeSt(Self-calibrated convolutions and ResNeSt block for ResNet50) was proposed. Firstly, ESRGAN(Enhanced super-resolution generative adversarial networks) super partition network was used to enhance the data of low-resolution images to solve the problem of less effective information about rice pests. In SCResNeSt network, three consecutive 3×3 convolutional layers were used to replace the first 7×7 convolutional layer to reduce the computational cost. Using self-calibrated convolution instead of the 3×3 convolution in layer2, through internal communication, the field of view of each convolutional layer was explicitly extended to obtain part of the background information of pest images, to enrich the output features. The ResNeSt block(Split-attention network block) was used in the backbone network to further improve the accuracy of obtaining pest information in the image. Finally, the optimized model was deployed on the mobile terminal, and a lightweight mobile rice pest identification system was developed. The experimental results showed that compared with the existing methods, the ESRGAN model could recover the real information about crop pests, and the SCResNeSt model could effectively improve the performance of rice pest identification, this accuracy can reach 91.20%, which showed that the depth model could accurately identify rice pest types. This study provides an important technical basis for the intelligent identification and control of rice pests, and will improve the level of rice production informatization.


Keyword:

image of rice pests; low-resolution; SCResNeSt; convolutional neural network; identification system;


0 引言

近年来,随着全球气候变暖等生态环境的变化,我国农作物受灾程度逐年加深,损失逐年加重。水稻是我国主要粮食来源,其生长受各种害虫影响,害虫监测识别是防灾减灾工作的关键任务之一[1]。由于水稻害虫种类繁多,人工识别任务繁重,无法及时对虫害进行有效防控,导致农作物大量减产。在野外环境下如获取较高分辨率的害虫图像数据,需采用相机拍摄害虫静态图像。但野外环境下,水稻害虫易动,导致获取的害虫图像往往不清晰、分辨率低,且部署在真实的农田里的摄像头密度稀疏,使害虫难以被有效地识别和监视。故无法轻易获得足够的高分辨率图像进行识别,这严重影响了识别性能[2]。因此提高低分辨率水稻害虫图像的识别精度,可加强对害虫的及时诊断和有效防控,对于减少经济损失、控制农药滥用、保证粮食安全具有重要意义[3]。


随着计算机视觉技术的发展,国内外学者对害虫识别已经取得了一定的进展。自KRIZHEVSKY使用AlexNet[4]模型在ILSVRC(ImageNet large-scale visual recognition challenge)[5]中应用开始,深度学习[4,6]在全世界掀起了研究热潮,显著提高了识别害虫攻击和控制虫害风险的效率[7,8,9]。采用人工智能技术可以替代部分人工作业,不仅可以提高生产效率,而且可以降低人员的劳动强度,从而实现农业的智能化,达到智能农业的目标[10,11]。CHENG等[12]针对公开原始害虫识别问题,提出了一种基于深度残差学习的害虫识别方法,该方法对10类作物害虫图像的分类精度达到98.67%。KASINATHAN等[13]在3个公开的原始昆虫数据集上对昆虫种类进行分类,提出了一种有效的深度卷积神经网络模型,并使用迁移学习对训练前的模型进行微调,该方法对3个昆虫数据集分类准确率为96.75%、97.47%和95.97%。FANG等[14]将ResNet50应用在植物害虫的检测中,采用焦点损失函数代替标准的交叉熵损失函数,采用Adam优化方法对叶片病害等级进行识别,准确率达到95.61%。LU等[15]提出了一种基于深度卷积神经网络技术的新型水稻病害鉴定方法,所提出的基于卷积神经网络(CNN)的模型准确率为95.48%。JIANG等[16]利用卷积神经网络提取水稻叶片病害图像的特征,然后应用支持向量机方法对具体疾病进行分类和预测,平均正确率为96.8%。IALAM等[17]提出了一种基于分割的方法,该方法利用深度神经网络对水稻叶片图像中的病害进行分类。HAIYAN等[18]采用开放式cv方法完成图像数据分割和特征提取,构建几种不同的卷积神经网络分类模型,并选择最优模型对水稻害虫图像进行分类。综上所述,目前在水稻病虫害图像识别研究方面,大部分是针对噪声小、遮挡不严重和分辨率高的公开数据集害虫图像进行识别和模型构建,但将此模型直接迁移用来识别实际情况下噪声大、模糊的低分辨率虫害图像时会存在泛化能力弱的问题,准确率和鲁棒性无法达到应用需求。因此,对获取的低分辨率害虫图像进行恢复和高分辨率处理是提高病虫害识别精度的关键。


在低分辨率图像识别领域中,DAI等[19]针对低分辨率害虫图像的识别任务,使用超分的方法,提出了一种具有四次注意和残差密集融合机制的生成性对抗网络(GAN),用于低分辨率害虫图像的变换。该方法在图像重建方面更强大,处理后的图像分类准确率得到大幅提高。ZHU等[20]提出了一种注意力感知增强网络(APEN)的创新框架,它以端到端的方式集成了感知增强和注意力机制,用于低分辨率图像分类。WEN等[21]设计了一个基于增强型超分辨率生成对抗网络(ESRGAN)的作物病害分类网络,使用微调的ESRGAN模型恢复真实的作物信息,提高作物病害分类的准确性。目前在水稻病虫害图像识别研究方面,大部分是对超分网络进行改进,针对低分辨率的害虫图像识别和分类算法较少,且大部分是对公开数据集进行识别和模型构建,并未开发相对应的应用终端。因此,开发针对普通用户的低分辨率害虫图像智能识别系统应用终端,为提升水稻生产信息化水平具有重要意义。


针对稻田自然环境下难以在害虫静止且近距离时拍摄高质量图像,导致实际获取较低分辨率害虫图像识别模型精度较低的问题,本文拟对低分辨率(Low-resolution, LR)图像进行剪裁处理,构建并训练ESRGAN[22]网络以生成与原始图像相当的超分辨率(Super-resolution, SR)图像。为进一步提高水稻害虫识别的准确率,本文提出一种基于SCResNeSt(Self-calibrated convolutions and ResNeSt block for ResNet50)的低分辨率水稻害虫识别网络,该网络使用3个连续的3×3卷积替换ResNet50[23]中第1个7×7卷积,以减少计算量。用自校准卷积(Self-calibrated convolutions,Scc)[24]替代第2层卷积层中的3×3卷积,通过内部通信显式地扩展每个卷积层的视场,从而丰富输出特征。通过堆叠多个ResNeSt block(Split-attention network block)可以跨不同的特征图组进行特征图注意,保持简单和模块化。最后利用智能手机开发平台Android Studio软件对优选模型进行移植,开发针对普通用户的低分辨率害虫智能识别应用系统。


1 数据材料与方法

1.1 数据来源

本研究中水稻害虫图像主要来源于安徽省农业科学院试验田收集的数据集[25],数据采集地点为安徽省合肥市庐江县白湖振兴农场(117.564381E,31.242326N),所有图像均采用数码相机(如佳能、尼康和移动设备)拍摄。为了消除光照变化的潜在负面影响,所有图像都在田间采用均匀照明设置进行预处理,从中选取7种常见的水稻害虫图像(水稻二化螟、稻纵卷叶螟、稻二星蝽、黑尾叶蝉、稻棘缘蝽、稻赤斑沫蝉、稻绿蝽)。此外,也使用佳能EOS80d彩色数码相机拍摄了部分田间水稻害虫的图像来提高数据集的多样性,数据采集地点为安徽省芜湖市无为县襄安镇(117.805038E,31.200738N),拍摄时间为2020年8月7日。所用完整数据集采集地点既有试验田,又有自然大田环境,采集的数据包含水稻害虫幼虫和成虫的不同形态数据,以使得训练所得模型更能适应于实际环境害虫图像的识别。所选害虫图像示例如图1a所示,水稻害虫幼虫和成虫的不同形态图像示例如图1b所示。


由于获取的原始数据数量少且类别不均衡,直接用来训练则容易导致模型过拟合。稻赤斑沫蝉、稻绿蝽数据较多,分别有156、175幅图像,约为前5种害虫(水稻二化螟、稻纵卷叶螟、稻二星蝽、黑尾叶蝉、稻棘缘蝽)数据量的3倍。基于前期研究发现,只对水稻二化螟、稻纵卷叶螟、稻二星蝽、黑尾叶蝉、稻棘缘蝽5种水稻害虫图像进行角度旋转和对称翻转扩增(图2),而稻赤斑沫蝉、稻绿蝽保持原本数量不变时,网络模型能训练获得更优性能,有效缓解数据不均衡问题,充分发挥数据作用。各类别水稻害虫的原始训练样本数、扩充后的训练样本数及测试样本数,如表1所示。


由于获取的原始数据数量少且类别不均衡,直接用来训练则容易导致模型过拟合。稻赤斑沫蝉、稻绿蝽数据较多,分别有156、175幅图像,约为前5种害虫(水稻二化螟、稻纵卷叶螟、稻二星蝽、黑尾叶蝉、稻棘缘蝽)数据量的3倍。基于前期研究发现,只对水稻二化螟、稻纵卷叶螟、稻二星蝽、黑尾叶蝉、稻棘缘蝽5种水稻害虫图像进行角度旋转和对称翻转扩增(图2),而稻赤斑沫蝉、稻绿蝽保持原本数量不变时,网络模型能训练获得更优性能,有效缓解数据不均衡问题,充分发挥数据作用。各类别水稻害虫的原始训练样本数、扩充后的训练样本数及测试样本数,如表1所示。

经过图像数据统计分析,现有水稻害虫数据集包含两种:数量较多的高质量害虫图像数据(高清、正面、无背景或者背景简单等)和少量的低分辨率害虫图像数据,这将导致数据集出现数据质量不均衡问题,可能会使网络识别模型过于关注学习高质量水稻害虫图像的特征,忽略了低分辨率水稻害虫的特征学习,故本文采用三次插值算法(Bicubic interpolation)进行四倍下采样获取低分辨率水稻害虫图像。图像模糊和有效像素少是稻田自然环境下水稻虫害识别精度低的主要原因。因此,对获取的低分辨率虫害图像进行恢复和高分辨率预处理是提高虫害识别精度的关键。


1.2 低分辨率水稻害虫图像预处理

增强型超分辨率生成对抗网络(Enhanced super-resolution generative adversarial networks,ESRGAN)是一种能够在单幅图像超分辨率期间生成真实感纹理的算法,其删除了生成网络中的所有批归一化(BN)层,并引入了多级残差密集连接模块(RDDB)将多层残差网络和密集连接相结合,该结构具有更深的层次和更加复杂的结构,同时提升了特征表达能力,能够有效提高模型性能,提高图像分辨率,ESRGAN比SRGAN方法在更逼真、更自然的纹理上获得了更好的视觉质量。因此,本文采用ESRGAN超分网络对低分辨率害虫图像进行超分处理,首先输入图像,图像被输送到具有3×3滤波器内核的卷积层,Leakly ReLU作为激活函数。RRDB由密集块和具有5个卷积层的多级残差网络组成,连接到第一个卷积层。RRDB可以放大网络容量,在RRDB组之后添加了另一个具有3×3内核和64个特征图的卷积层,以整合特征并匹配数据维度。两个上采样层的比例因子设置为2,以实现4倍上采样因子的超分辨率(SR)图像。其他卷积层与第一个相同,只是最后一个卷积层有3个特征。ESRGAN算法流程如图3所示,使用ESRGAN算法对水稻害虫图像进行超分处理的效果,如图4所示。


1.3 低分辨率水稻害虫SCResNeSt识别网络构建与移植

经过数据扩增解决了水稻害虫样本少和数据不均衡的问题,并采用ESRGAN超分网络对低分辨率害虫图像进行数据增强预处理,解决低分辨率水稻害虫有效信息少的问题。在此基础上提出一种基于SCResNeSt的低分辨率水稻害虫识别网络,再利用Android Studio软件对优选模型进行移植,开发水稻害虫识别系统。


1.3.1 网络模型整体架构

本文提出了一种以ResNet50为主干网络的融合自校准卷积和注意力机制的识别网络(Self-calibrated convolutions and ResNeSt block for ResNet50,SCResNeSt),该网络首先使用3个连续的3×3卷积层,替换ResNet50中的第1个7×7卷积层,它们具有相同的感受野大小,并且计算量更小;采用自校准卷积(Self-calibrated convolutions,Scc)替代第2层卷积层中的3×3卷积,通过内部通信显式地扩展每个卷积层的感受野,获取害虫图像的部分背景信息。最后通过堆叠多个ResNeSt block(Split-attention network block)层数,使网络可以跨不同的特征图组提取到具有高区分度的精细特征。改进的SCResNeSt网络整体框架结构,如图5所示。


1.3.2 自校准卷积模块

由于所用的水稻害虫图像中不同害虫所侵害水稻的位置不同,如水稻二化螟幼虫蛀入稻茎后剑叶尖端变黄;稻棘缘蝽、稻二星蝽和稻绿蝽吸食主茎秆、叶穗部汁液,造成秕粒;稻纵卷叶螟、黑尾叶蝉和稻赤斑沫蝉主要危害水稻叶片,所以在利用害虫的图像特征的同时,结合受害位置的信息更有利于水稻害虫图像的识别。自校准卷积(Self-calibrated convolutions,Scc)操作相比传统的卷积,首先每个空间位置不仅可以考虑周边信息,而且可以对通道间的依赖性进行建模。其次,自校准卷积以异构的方式利用卷积滤波器的不同部分。自校准卷积操作过程如图6所示。


其中输入X的大小为C×H×W,将X拆分为2个大小为C/2×H×W的X1、X2,然后将X1、X2输入用于收集不同类型的上下文信息的特殊路径中。在第1个路径中,利用{K2,K3,K4}对X1进行自校准操作,得到Y1。对于给定的输入X1,先进行卷积核大小为r×r和步长为r的平均池化。


(1)


式中 X1——拆分后的输入


T1——池化后的输出


AvgPoolr——步长为r的平均池化


再用K2对T1进行特征转。


(2)


式中 K2——第2个卷积核


F2——第2个卷积运算函数


X’1——特征转换后的输出


Up——双线性插值运算符


其中,Up将F2(T1)从小比例特征空间映射到原始特征空间。校准操作可以表述为


(3)


其中


(4)


式中 K3——第3个卷积核


Y’1——逐元素相乘后的输出


F3——第3个卷积运算函数


校准后的最终输出为


(5)


式中 K4——第4个卷积核


F4——第4个卷积运算函数


Y1——校准后的输出


在第2条路径中,执行一个简单的卷积运算:


(6)


式中 K1——第1个卷积核


X2——拆分后的输入


F1——第1个卷积运算函数


Y2——卷积后的输出


其目的是保留原始空间上下文的信息。然后将两个中间输出Y1、Y2串联在一起作为输出Y。因此,变换过程中的每个空间位置都可以通过自校准卷积操作融合2个不同空间的信息,这大大增加了卷积层的感受野[26],从而使特征表示更具判别性。为更直观地展示感受野的增加,实验部分将展示网络热力图。


1.3.3 ResNeSt block

SCResNeSt网络中使用的ResNeSt block可实现跨功能图组之间的关联,通过以ResNet样式堆叠ResNeSt block[27],每个块都将特征图沿通道维数分为几组和更细粒度的子组或分割,其中,每个组的特征表示是通过其分割表示的加权组合确定的。


改进的SCResNeSt网络中使用的ResNeSt block特征被分组再拆分,同一层中多个卷积核分支可以分别提取特征使得网络提取的特征更为多样。首先将输入特征分为K组(沿通道数划分),将得到的特征图组称为基数组,这个K组特征层和卷积核的操作是相对独立的操作。并引入了一个新的基数超参数R,它表示基数组内的分裂数,每一个基数组内的分裂数均相同,因此特征组的总数为


(7)


式中 K——分组数


R——超参数


G——特征组总数


然后将基数组的特征沿通道维度连接起来,Split-Attention块与标准残差块一样,其最终输出是使用快捷连接生成的,输入和输出特征图形状相同,再通过Concatenate函数进行数组拼接后,用一个1×1的卷积转换成输入特征图相同的大小,最后将其与输入特征图进行相加。


1.3.4 模型移植

本文构建了一种基于SCResNeSt的低分辨率水稻害虫识别网络模型后,利用智能手机开发平台Android Studio软件对优选模型进行移植,开发水稻害虫识别系统。模型移植使用的开发环境为Android Studio 3.5.2,编程语言采用Java。由于在Pytorch框架下保存的模型权重文件为“.pth”,为了能够利用Android Studio更好地将其移植到普通智能手机上,需要将“.pth”文件转化为“.pt”文件,然后再通过Java编程实现移植。模型移植流程图如图8所示。


1.3.4 模型移植

本文构建了一种基于SCResNeSt的低分辨率水稻害虫识别网络模型后,利用智能手机开发平台Android Studio软件对优选模型进行移植,开发水稻害虫识别系统。模型移植使用的开发环境为Android Studio 3.5.2,编程语言采用Java。由于在Pytorch框架下保存的模型权重文件为“.pth”,为了能够利用Android Studio更好地将其移植到普通智能手机上,需要将“.pth”文件转化为“.pt”文件,然后再通过Java编程实现移植。模型移植流程图如图8所示。


1.3.4 模型移植

本文构建了一种基于SCResNeSt的低分辨率水稻害虫识别网络模型后,利用智能手机开发平台Android Studio软件对优选模型进行移植,开发水稻害虫识别系统。模型移植使用的开发环境为Android Studio 3.5.2,编程语言采用Java。由于在Pytorch框架下保存的模型权重文件为“.pth”,为了能够利用Android Studio更好地将其移植到普通智能手机上,需要将“.pth”文件转化为“.pt”文件,然后再通过Java编程实现移植。模型移植流程图如图8所示。


由表3可知,原图-LR的分类网络由原图像训练所得,使用LR图像对其进行测试,并将此设置视为比较基线;LR-LR的分类网络由LR图像进行训练,使用LR图像对其进行测试,此设置需要为LR图像训练一个额外的网络;原图-原图的分类网络在原图像上进行训练,并在原图像上进行测试;SR-SR的分类网络在SR图像上进行训练,并在SR图像上进行测试;原图+SR-LR的分类网络在原图像和SR图像上进行训练并在LR图像上进行测试;原图+SR-SR的分类网络在原图像和SR图像上进行训练并在SR图像上进行测试。


为了展示本研究中分类网络的实验效果,将AlexNet、Vgg16[29]、ResNet50、ResNet-RS[30]、ResNeSt和改进的SCResNeSt网络结合表3中的不同训练测试情况进行对比,水稻害虫分类实验结果如表4所示。


由表4可以看出,在多个网络中,经过ESRGAN网络处理后的SR图像的分类精度高于LR图像的分类精度,第6种训练测试情况下的准确度达到了接近原图的精度,甚至在AlexNet、ResNet50、ResNeSt网络中超过了原图的精度。实验结果表明,经过ESRGAN网络处理,可以使得低分辨率图像得到增强,解决低分辨率水稻害虫图像有效信息少的问题。


本文提出的SCResNeSt方法在识别精度方面优于AlexNet、Vgg16、ResNet50、ResNet-RS、ResNeSt,在原图数据中可达到92.00%,比Vgg16高2.4个百分点,比ResNet50网络高6.4个百分点;低分辨率图像中的识别精度为87.20%;结合超分算法后低分辨率水稻害虫图像的平均识别精度为91.20%,相较于Vgg16高出2.4个百分点,比ResNet50网络高3.2个百分点,说明所构建的深度模型能够准确识别水稻害虫类型。


为更直观地展示分类结果,绘制混淆矩阵,如图9所示,0表示水稻二化螟,1为稻纵卷叶螟,2为稻二星蝽,3为黑尾叶蝉,4为稻棘缘蝽,5为稻赤斑沫蝉,6为稻绿蝽。对角线上的元素表示正确分类样本的数量。


由ResNeSt网络混淆矩阵可知,对于第0类和第2类样本均分类正确。对于第1类、第3类、第4类和第5类,错误预测数为4的有2个样本。可以看出,分类的主要困难在于类别1、3、4、5,在SCResNeSt网络混淆矩阵中也有相似结果。由SCResNeSt的混淆矩阵可知,第0类和第2类的所有样本均分类正确,其他类的分类正确数量也得到了提升。


2.4 消融实验

消融实验结果如表5所示。从表5可以看出,对数据进行超分辨率增强处理后,利用自校准卷积对水稻害虫进行特征提取,ResNeSt模块能够获取更多害虫图像的信息,进一步提升了图像中害虫信息获取的准确性。


由2.3节和表5可知,对数据进行超分辨率增强处理,可提高网络泛化性,降低了因低分辨率图像所含信息少导致的误分类,大幅度提升了网络分类效果。上述条件下,在ResNet50网络中加入ResNeSt模块,进一步提升图像中害虫信息获取的准确性。最后再加入自校准卷积,可以看出,对准确率提升明显,这是因为不同水稻害虫对应的背景也不同,自校准卷积有效扩大分类网络的感受野,结合受害位置背景的信息,降低了因背景类别复杂导致的误分类,因而所提方法具有较少的误分类,获得了较好的分类结果。


2.5 热力图可视化

将SCResNeSt产生的特征激活热力图与传统的残差网络ResNet50和ResNeSt的特征激活热力图进行对比,其热力图可视化如图10所示。


从图10中可以观察到,具有传统卷积的残差网络无法精准捕获整个判别区域,因为它们的卷积层感受野有限。相比之下,自校准卷积有助于模型很好地捕捉整个判别区域。因不同害虫所侵害水稻的位置不同,带有自校准卷积的SCResNeSt感受野更大,可以更准确、更完整地定位目标对象,在识别中不仅利用害虫的图像特征,而且结合受害位置背景信息更有利于图像识别。


2.6 诊断系统的应用

本研究基于Android Studio工具,设计完成移动应用APP。通过有线方式把安装包移至Android手机,即完成了基于Android手机的自然场景下水稻害虫识别系统的移植。用户可通过手机运行系统,自动打开手机摄像头,将摄像头对准害虫,即可实时采集图像。由手机摄像头采集的每帧图像,尺寸转化为224×224×3的分辨率,


然后经过归一化处理输入部署好的模型中进行识别,识别结果如图11所示。软件页面上半部分为手机摄像头实时采集到的图像,将每帧图像进行实时显示。界面中展示识别结果,软件页面下半部分为分类Top3的结果,并按照顺序排列,左列为分类结果,右列为分类概率。这种方法为用户提供了一种自行判断害虫的选择,用户可通过察看害虫识别结果,对农作物进行有效分析。


3 结论

(1)为解决实际获取的害虫图像分辨率低而导致识别模型识别精度低的问题,本研究基于深度学习技术,首先运用了ESRGAN超分网络对低分辨率图像进行数据增强,解决低分辨率水稻害虫图像有效信息少的问题。其次,为了同时关注到害虫的图像信息和受害位置信息,在ResNet50网络中使用自校准卷积来扩大感受野,再通过堆叠多个ResNeSt block,提升害虫区域的特征权重,以便提取到具有高区分度的特征,提升模型的识别精度。在自建的水稻害虫图像数据集进行训练获得水稻害虫识别模型。


(2)测试结果表明,该模型对超分后的低分辨率水稻害虫图像的识别准确率为91.20%,相较于AlexNet、Vgg16、ResNet-RS、ResNeSt网络提高至少2.4个百分点,比ResNet50高3.2个百分点。本研究将获取到的模型在Android手机端部署,实际应用程序可用于农作物害虫移动端准确识别。


参考文献

[1] SINGH A K, GANAPATHYSUBRAMANIAN B, SARKAR S, et al. Deep learning for plant stress phenotyping: trends and future perspectives[J]. Trends in Plant Science, 2018,23(10): 883-898.

[2] 薛金林, 李雨晴, 曹梓建. 基于深度学习的模糊农田图像中的障碍物检测[J]. 农业机械学报, 2022,53(3):234-242.

[3] PAYMODE A S, MALODE V B. Transfer learning for multi-crop leaf disease image classification using convolutional neural network VGG[J]. Artificial Intelligence in Agriculture, 2022, 6: 23-33.

[4] KRIZHEVSKY A, SUTSKEVER I, HINTON G E. ImageNet classification with deep convolutional neural networks[J]. Communications of the ACM, 2012, 60: 84 - 90.

[5] DENG J, DONG W, SOCHER R, et al. ImageNet: a large-scale hierarchical image database[J]. IEEE Conference on Computer Vision Pattern Recognition, 2009: 248-255.

[6] LECUN Y, BOSER B, DENKER J, et al. Back propagation applied to handwritten zip code recognition[J]. Neural Computation, 1989, 1: 541-551.

[7] 陈天娇, 曾娟, 谢成军, 等. 基于深度学习的病虫害智能化识别系统[J]. 中国植保导刊, 2019, 39(4): 26-34.

[8] ZHAO Y, SUN C, XU X, et al. RIC-Net: a plant disease classification model based on the fusion of inception and residual structure and embedded attention mechanism[J]. Computers and Electronics in Agriculture, 2022, 193: 106644.

[9] WEI D, CHEN J, LUO T, et al. Classification of crop pests based on multi-scale feature fusion[J]. Computers and Electronics in Agriculture, 2022, 194: 106736.

[10] 贾少鹏, 高红菊, 杭潇. 基于深度学习的农作物病虫害图像识别技术研究进展 [J]. 农业机械学报, 2019, 50(增刊1): 313-317.

[11] ZHAO X, ZHANG J, HUANG Y, et al. Detection and discrimination of disease and insect stress of tea plants using hyperspectral imaging combined with wavelet analysis[J]. Computers and Electronics in Agriculture, 2022, 193: 106717.

[12] CHENG X, ZHANG Y, CHEN Y, et al. Pest identification via deep residual learning in complex background[J]. Computers and Electronics in Agriculture, 2017, 141: 351-356.

[13] KASINATHAN T, REDDY U S. Crop pest classification based on deep convolutional neural network and transfer learning[J]. Comput Electron Agric, 2019, 164: 104906.

[14] FANG T, CHEN P, ZHANG J, et al. Crop leaf disease grade identification based on an improved convolutional neural network[J]. Journal of Electronic Imaging, 2020, 29(1): 013004.

[15] LU Y, YI S, ZENG N, et al. Identification of rice diseases using deep convolutional neural networks[J]. Neurocomputing, 2017, 267: 378-384.

[16] JIANG F, LU Y, CHEN Y, et al. Image recognition of four rice leaf diseases based on deep learning and support vector machine[J]. Comput Electron Agric, 2020, 179: 105824.

[17] IALAM A, ISLAM R, HAQUE S M R, et al. Rice leaf disease recognition using local threshold based segmentation and deep CNN[J]. International Journal of Intelligent Systems and Applications, 2021, 5: 35-45

[18] HAIYAN H, CHANG S. Classification of rice diseases and insect pests based on artificial intelligence[J]. 14th International Conference on Measuring Technology and Mechatronics Automation, 2022: 322-325.

[19] DAI Q, CHENG X, QIAO Y, et al. Agricultural pest super-resolution and identification with attention enhanced residual and dense fusion generative and adversarial network [M]. IEEE Access, 2020: 81943-81959.

[20] ZHU X, LI Z, LI X, et al. Attention-aware perceptual enhancement nets for low-resolution image classification[J]. Inf. Sci., 2020, 515: 233-247.

[21] WEN J, SHI Y, ZHOU X, et al. Crop disease classification on inadequate low-resolution target images[J]. Sensors, 2020, 20(16): 4601.

[22] WANG X, YU K, WU S, et al. ESRGAN: enhanced super-resolution generative adversarial networks[C]// Proceedings of the ECCV Workshops, 2018.

[23] HE K, ZHANG X, REN S, et al. Deep residual learning for image recognition[C]// IEEE Conference on Computer Vision Pattern Recognition, 2016: 770-778.

[24] LIU J, HOU Q, CHENG M-M, et al. Improving convolutional networks with self-calibrated convolutions[C]// IEEE/CVF Conference on Computer Vision Pattern Recognition, 2020: 10093-10102.

[25] XIE C, WANG R, ZHANG J, et al. Multi-level learning features for automatic classification of field crop pests[J]. Comput. Electron. Agric., 2018, 152: 233-241.

[26] XIE S, GIRSHICK R B, DOLLAR P, et al. Aggregated residual transformations for deep neural networks[J]. IEEE Conference on Computer Vision Pattern Recognition, 2017: 5987-5995.

[27] ZHANG H, WU C, ZHANG Z, et al. ResNeSt: Split-Attention networks[J]. ArXiv, 2020: 2004.08955.

[28] DONG C, LOY C C, TANG X. Accelerating the super-resolution convolutional neural network [C]// Proceedings of the ECCV, 2016.

[29] SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[J]. CoRR, 2015: 1409.1556.

[30] BELLOI, FEDUS W, DU X, et al. Revisiting ResNets: improved training and scaling strategies[J]. ArXiv, 2021:2103.07579.


相关文章
100%安全可靠
7X18小时在线支持
支付宝特邀商家
不成功全额退款