EasyDL助力海洋渔业监测—海底观测平台实现
f9711615 发布于2019-04 浏览:6188 回复:4
0
收藏

1 引言

     本文提出了一种基于百度EasyDL定制化图像识别平台的海底鱼类识别方法。利用百度EasyDL定制化图像识别平台解决目标数据集训练数据过小和数据分布差异问题,而且通过引入伽马校正法和暗通道先验算法对数据进行预处理,使数据特征具有更好的辨别能力,同时使用数据增强方法对模型进行调优,使得训练得到的模型的泛化性更强。

2 相关工作

2.1 海洋鱼类识别系统

图 1 海底观测平台

    海底观测平台的系统结构如图1所示,位于海面以下的水下接驳器统一接收来自各个传感器的采集数据,包括水下摄像器材采集的视频数据,然后将数据传输至位于陆地上的岸基站。岸基站接收并缓存所有来自海底的数据,按约定的协议和规则转发给大数据中心。大数据中心由多个子系统构成,负责对不同类型数据的转化、存储、处理、分析,其中包括本文将要研究的海洋鱼类识别系统,负责对海底观测视频的处理分析。本文采用开源计算机视觉工具软件OpenCV来读取视频数据,将视频分解为图片帧,同时使用背景差分算法过滤无用帧后,针对每一帧进行预处理和识别分析。

2.2 数据预处理

下面是几幅比较典型的海底鱼类图像,我们可以看到,采集的图像的对比度都较低,图像较为模糊:

图2 海底鱼类图像图

    因此,本文先使用提高亮度、提高清晰度对数据进行预处理的方法,尽可能消除亮度低和模糊带来的影响。对于提高亮度的方法,本文选择伽马校正法[5],使用指数函数调整每个灰度单元,计算公式如下:

(1)

亮度的变化由参数γ来控制:当γ<1时,pi,j[k]的值会变小,亮度会提高。反之,则pi,j[k]的值会变大,亮度会降低。

    对于提高清晰度的方法,通过参考基于暗通道先验算法去雾的研究[6]。该研究认为雾天拍摄图片的模糊是由空气中的杂质对光的散射造成的。而海底拍摄图片的模糊也恰好是由水中的杂质对光的散射造成的,于是可以将其适用于海底拍摄图片,所以在该研究的基础上,针对海底环境的特点作了改进,对每个灰度单元进行优化,计算公式如下:

(2)

综合上述提高亮度和清晰度的过程,预处理的步骤如下:

图片预处理算法
输入:图片集合F
输出:提高后的图片集合F’
Setp 1:   for i to F do  //从集合中选择一张图片进行处理
Setp 2:    i←enhanceBrightness(i,γ); //亮度提升,本文取γ为0.65。
Setp 3:     D←computeDark(i);
Setp 4:     C←getMaxBrightCoords(D, 0.1); //本文取t0为0.1
Setp 5:     a←computeA(i, C);
Setp 6:     D←smooth(D); //平滑
Setp 7:     T←computeT(D);
Setp 8:     i←enhanceDefinition(i, a, T);//提高清晰度,参考公式2
Setp 9:     F’←F’+{i};
 

图3所示展示预处理方法对图片品质的提升效果:

图3 预处理效果对比图

    从图3中可以看出,本文提出的预处理方法可以比较有效地提高图片的亮度以及清晰度。但是面对品质极差的图片,预处理方法也显露出了局限性,无法将其品质提高到鱼类各项关键特征都清晰的程度。

 
2.3模型构建及训练

    本文以水下观景台收集的鱼类图像数据集合--Fish4Knowledge(F4K)数据集[7]作为实验数据。该数据集包括23类鱼种,共27370张鱼的图像,数据集如图4所示。

图4 Fish4Knowledge(F4K)数据集

    将实验数据上传至百度EasyDL数据中心,如图5所示,采用百度EasyDL定制化图像识别平台构建鱼类图像识别模型,由于鱼类形状大小相似,品种差异小,可辨识性较小,故选择AutoDL Transfer算法进行模型训练,AutoDL Transfer模型是百度研发的AutoDL技术之一,结合模型网络结构搜索、迁移学习技术、并针对用户数据进行自动优化的模型,与通用算法相比,虽然训练时间较长,但更适用于细分类场景。如图6所示。

图5 数据上传

图6 模型构建

2.4 预处理有效性实验

    为了证明本文所提预处理方法的有效性,本文在F4K数据集上做了原始的数据和基于预处理的方法的数据模型性能对比实验,实验在参数相同的条件下,使用百度EasyDL定制化图像识别平台对数据进行训练,评估对比结果如表1所示:

    表1的结果显示,在鱼类识别上本文所提的预处理方法比使用原始数据有更好的识别性能,准确率及召回率等各项指标都要远远好于使用原始数据训练的模型。

2.5模型进一步调优

     为了更好的提高模型识别的准确率,本文采用数据增强的方法对数据进行扩充,增加数据的规模,提高模型的泛化性能。对于训练数据进行一系列的数据增强操作处理(旋转、移动、缩放、翻转等方式)来对模型训练样本进行扩展,过程如图7所示。

图7 数据增强

2.6模型对比实验

    为了进一步证明本文模型的优势,将本文模型与其他模型,包括目前流行的深度网络模型VGGnet16、VGGnet19以及文献[3]中的PreCNN-SVM鱼类识别方法和文献[4]中Alex-FT-SVM鱼类识别方法,在F4K数据集上进行性能评估和比较,实验对比结果如表4所示。

    表4的各种方法对比结果来看,本文的方法相对于其他方法识别准确率有较大提升,获得了99.6%的鱼类识别精度。本方法充分利用百度EasyDL定制化图像识别平台优势,可以很好地解决鱼类识别任务训练数据不足的问题,同时通过引入伽马校正法和暗通道先验算法对数据进行预处理,使数据特征具有更好的辨别能力,使用数据增强方法对模型进行调优,进一步提高了模型识别的准确率。

3 结束语

    海底观测环境亮度低、场景模糊,导致采集的视频品质差,直接识别视频中的海洋鱼类效果不好。本文提出了预处理方法提高图片品质、百度EasyDL定制化图像识别等方法,实现对较差品质图片的准确识别。针对亮度低和场景模糊的问题,在预处理时首先使用伽马校正法提高了图片的亮度,然后参考基于暗通道先验算法的去雾研究针对海底环境的特点作了改进,提高了图片的清晰度。由于目前还没有大量标记数据,本文使用百度EasyDL定制化图像识别及AutoDL Transfer算法,解决了训练数据少导致模型效果差的问题。从实验结果可以看出,本文所提方法可以以高达99.6%的准确率识别海底鱼类的图片,验证了方法的有效性。然而,本文的方法还存在不足,其中的关键在于海底环境的特殊性,提高图片品质的预处理方法还没有完全结合海底环境的特点,提高图片品质的能力有限。下一步的研究工作将是深入分析、挖掘海底环境的特点,提出针对性更强的、更有效的预处理方法。

参考文献:

[1]Huang, Phoenix X., Bastiaan J. Boom, and Robert B. Fisher. "Hierarchical classification with reject option for live fish recognition." Machine Vision and Applications 2015,26(1): 89-102.

[2]杜伟东, 李海森, 魏玉阔, 等. 基于 SVM 的多方位声散射数据协作融合鱼分类与识别[J]. 农业机械学报, 2015,61(3):39-43.

[3]Tamou A B, Benzinou A, Nasreddine K, et al. Underwater Live Fish Recognition by Deep Learning[C]//International Conference on Image and Signal Processing. Springer, Cham, 2018,171(6): 275-283.

[4]顾郑平,朱敏.基于深度学习的鱼类分类算法研究[J].计算机应用与软件,2018,35(1):200-205.

[5]蒋明敏.基于FPGA的LCD伽马校正研究[D].南京,南京林业大学,2016:25-27.(JIANG M M.Research on LCD Gamma Correction Based on FPGA[D].Nanjing,NanjingForestryUniversity,2016:25-28.)

[6]HE K, SUN J, TANG X. Single image haze removal using dark channel prior[J]. IEEE transactions on pattern analysis and machine intelligence, 2011, 33(12): 2341-2353.

[7]B J, Huang P X, He J, etal. Supporting ground-truth annotation of image datasets using clustering[C]//ICPR. 2012,21(1): 1542-1545.

收藏
点赞
0
个赞
共4条回复 最后由q17821959241回复于2022-08
#5差点摔碎了镜子回复于2020-01

能分享一下数据集吗,拜托拜托。838641367@qq.com

0
#4叮叮铛铛丁丁酱回复于2019-12

能单位一下数据集吗,万分感谢。844343103@qq.com

0
#3长青vt回复于2019-04

厉害,厉害了!

0
#2付洋洋carrie回复于2019-04

手动赞

0
TOP
切换版块