中期报告

2025-02-14

17

作者编辑

基于深度学习的果园苹果视觉智能识别系统中期报告

一、项目背景与目标回顾
本项目旨在开发一套基于深度学习的果园苹果视觉智能识别系统，解决果园环境下因遮挡（如枝叶、果实遮挡）导致的苹果识别精度低、采摘效率不足等问题。核心目标包括：

构建高精度苹果识别模型，优化复杂环境下的检测与分割性能；
通过对采集的数据通过计算机视觉技术实现苹果质量与产量的分析；
完成模型在移动端的轻量化部署，提升技术实用性与普及性。
二、已完成工作
二、已完成工作

1. 基础模型的训练

模型选择：
本项目采用了基于 Mask R-CNN 架构的深度学习模型。Mask R-CNN 是一种成熟且有效的实例分割模型，已被广泛应用于各种计算机视觉任务，尤其是在物体检测和图像分割中具有出色的表现。该模型不仅能够提供高精度的物体检测，还能为每个实例生成精确的分割掩码，因此非常适合本项目的需求。

训练过程：
本项目使用了 MinneApple 数据集 进行模型训练，该数据集专门用于苹果检测和分割任务，包含了大量标注良好的苹果图像，适合用于训练和评估相关模型。模型的训练在 PyTorch 框架下进行， 训练过程使用7:3的比例划分训练集，测试集。
在训练过程中，关注了模型的收敛性、稳定性和预测准确度。通过调整学习率、批量大小等超参数。最终，模型在训练集和验证集上均取得了相关结果，验证集的评估指标（如平均精度均值 AP）表现优异，具体如下：

AP: 0.438
AP@IoU=0.50: 0.763
AP@IoU=0.74: 0.449
AP_small: 0.295
AP_medium: 0.571
AP_large: 0.809

2.安卓端开发：
模型的集成
基础应用的开发工作已顺利完成，目标是让安卓设备能够有效加载和运行深度学习模型，实现图像分割功能。应用通过集成 PyTorch Mobile，实现了深度学习模型在安卓端的高效推理。整个开发过程中，采用了 Android Studio 作为开发环境，使用 Java 语言编写主要逻辑，结合 PyTorch Mobile 提供的工具包，使得模型能够在安卓设备上高效运行。

通过将模型集成至安卓应用中，成功实现了图像分割功能。用户可以通过手机界面上传图片，应用会将这些图片传入模型进行推理，并显示出模型预测的分割结果。应用界面简洁直观，用户无需具备专业知识即可进行操作。
在模型的集成方面，首先将训练好的 PyTorch 模型导出为 TorchScript 格式。TorchScript 是 PyTorch 提供的一个中间表示形式，可以将训练好的模型转化为可在安卓、iOS 或其他平台上高效运行的格式。导出过程中，使用 torch.jit.trace() 方法对模型进行跟踪，并保存为 .pt 文件，随后将该文件导入安卓项目中。

使用 PyTorch Mobile 提供的 API，成功将模型集成至安卓端应用中，应用能够在移动设备上直接加载和运行 TorchScript 模型进行推理。为了确保推理过程高效且流畅，应用对模型加载和推理进行了优化，采用了适配不同硬件平台的配置，保证了低延迟的推理表现。

基础功能实现：
目前，应用的基础功能已基本实现，用户界面清晰简洁。具体功能包括：

图片上传： 用户可以通过手机相册或相机上传待处理的图片，支持多种图片格式（如 JPG、PNG 等）。
图像处理： 图片上传后，应用将自动调用深度学习模型对图片进行处理，生成分割结果。模型的推理结果为每个实例生成精确的分割掩码。
结果展示： 处理后的图像和分割结果会在界面上展示，用户能够直观地看到模型预测的分割效果。应用还提供了图像对比功能，方便用户查看原始图像与分割结果之间的差异。

三、存在问题

1. 模型选择与性能平衡：
当前选择的模型在图像分割任务中表现尚可，但在某些复杂的应用场景下，可能未能达到理想的精度和效率。虽然更强大的模型可能能够提供更高的分割精度，但这些模型通常参数量较大，计算开销也较高。在移动设备上运行时，性能和推理速度可能受到显著影响。因此，在模型选择上需要更加谨慎，除了考虑模型的分割效果外，还需综合考虑移动设备的硬件性能和推理效率，以保证模型能够平稳运行，避免出现因硬件限制导致的卡顿或过长推理时间。
2.对于使用深度学习模型的返回结果的利用不够完善
当前分割出的苹果掩码需要进一步处理，以便提取实例的位置信息和数量。通过分析掩码区域的连通性，可以获取每个苹果的位置和数量，未来可以增加对苹果成色（如成熟度）的分析。通过分析分割区域的颜色信息（例如色调、饱和度、亮度），可以判断苹果是否成熟，并在界面中展示相关信息。

四、后续工作计划

App上进行
当前基础应用的界面已完成，但在用户体验方面还可以进一步优化。例如，增加实时反馈

2. 实例位置与数量提取：
当前分割出的苹果掩码需要进一步处理，以便提取实例的位置信息和数量。通过分析掩码区域的连通性，可以获取每个苹果的位置和数量，并在界面上显示。比如可以为每个实例标注框或位置坐标，为用户提供更多直观反馈。
3. 苹果成色分析：

虽然当前应用能够实现基础的分割，未来可以增加对苹果成色（如成熟度）的分析。通过分析分割区域的颜色信息（例如色调、饱和度、亮度），可以判断苹果是否成熟，并在界面中展示相关信息。

Java

Python

作业

开发

博客信息

作者 eeettt123

发布日期 2025-02-14

其他信息 : 其他三字母的人名首字母都是其他同学发布的哦