近日，机自学院苗中华教授团队在农业自动化领域国际著名期刊《Computers and Electronics in Agriculture》（中科院一区TOP期刊）上发表题为“Efficient occlusion avoidance based on active deep sensing for harvesting robots”的研究论文。
随着农业劳动力短缺问题日益加剧，收获机器人的发展变得越来越迫切。大多数机器人需要通过视觉定位目标，但农业环境中常见的遮挡现象限制了视觉目标识别的准确性，甚至在严重情况下导致识别失败。主动感知方法是一种有效手段，但如何有效找到最佳观测位置仍然是一个难题，以避免重复无效动作所造成的时间浪费。针对这些问题，提出了一种用于收获成簇和单个果实的主动深度感知方法。
首先，通过分割网络提取目标的感兴趣区域，然后利用图像处理方法获取目标的遮挡状态。以当前观测位置为起点，在矩阵内移动摄像头，形成置信度和遮挡率分布图。在建立了一系列遮挡率和置信度矩阵数据集后，训练了一个设计好的深度网络，用于在估计当前遮挡状态后预测置信度最高/遮挡率最低的位置。为了验证该方法的可靠性，针对苹果和成簇的番茄进行了实验室和田间实验。
经过1000次验证，结果表明，采摘/识别成功率提高了38.7%，平均识别成功时间为5.2秒，比固定运动方法和简单启发式方法分别快了63.1%和46.4%。
图1
图1给出了所提方法的总体控制流程。
图2
图2为串番茄遮挡状态估计结果示例。
图3
图3展示了从初始位置开始生成目标周边区域置信度图的过程。
图4
本研究获得了当前观察点周围的置信度图以及遮挡率图，如图4的热图所示。
图5
所采用的卷积网络主要基于ResNet18，如图5所示。输入包括RGB图像和掩码，其中包含当前遮挡率和分布的信息。
本研究得到了上海市农委春蕾项目和1066vip威尼斯高层次人才引进科研启动基金项目的资助。
