Towards autonomous selective harvesting: A review of robot perception, robot design, motion planning and control

Towards autonomous selective harvesting: A review of robot perception, robot design, motion planning and control｜Vishnu Rajendran S、Bappaditya Debnath、Sariah Mghames、Willow Mandil、Soran Parsa、Simon Parsons、Amir Ghalamzan-E · 英国林肯大学农业食品技术研究院（LIAT）、牛津大学、哈德斯菲尔德大学 · Journal of Field Robotics 41(7): 2247–2279 · 2024 · 原文（预印本：arXiv:2304.09617）

这篇综述在回答什么问题

农业自动化里最先被机械化的是「无差别作业」——耕、播、喷、割，机器不需要判断对象。而选择性采收（selective harvesting）是另一回事：机器人必须逐个判断果实是否成熟、能不能摘、怎么摘不伤果也不伤株。这类任务同时压在感知、操作、规划三条线上，也是农业劳动力缺口最尖锐的地方。综述要回答的核心问题是：选择性采收机器人（Selective Harvesting Robot, SHR）离商业可用还差什么？差在哪一层？

作者的判断相当克制：过去十年发表的系统大多在实验室或经过改造的作物株型上取得了漂亮数字，但一旦放到未改造的真实果园与温室，成功率和节拍都会明显下滑。综述因此刻意把「实验室指标」和「田间指标」分开讨论，避免用检测 mAP 掩盖系统级失败。

分类框架

全文按机器人系统的四个子系统分层组织，每层单独评估成熟度与典型失效模式：

• 硬件（hardware）：机械臂构型、末端执行器（end-effector）、移动平台、传感器配置。末端执行器按「附着方式」（真空吸附 vs. 机械手指）与「脱离方式」（振荡刀片、剪切、热丝切割、旋转刀）交叉分类；软材料用于降低瘀伤，「吞入式」结构用于吸收果实位姿的不确定性，代价是体积增大。
• 果实感知（perception）：从传统的颜色分割、形态学、阈值与几何方法，到 Mask R-CNN、YOLO 系列的深度学习检测，再到光谱与多模态融合用于成熟度分级与跨品种鲁棒性。
• 运动规划（motion planning）：采样类方法（RRT、bi-RRT）、优化类方法（CHOMP、TrajOpt）、以及示教学习（Learning from Demonstration, LfD）。针对果簇场景，综述专门讨论了交互式运动基元（Interactive Movement Primitives）这类「主动拨开遮挡物」的规划范式。
• 运动控制（motion control）：开环视觉控制 vs. 闭环视觉伺服（visual servoing）。作者指出开环方案在非结构化环境中效率很低，因为执行过程中目标一旦被遮挡就会引发级联失败。

关键结论

• 瓶颈已从感知转向操作：果实检测在受控光照下已相当可靠，真正卡住系统的是密集果簇中的遮挡（occlusion）与聚簇（clustering）——目标被挡、被碰后还会移位，纯视觉前馈无法闭环。
• 田间成功率与实验室数字差距很大：综述汇总的田间试验成功率大致落在五成到九成的宽区间内，且高值多来自经过株型改造或单行简化的场景；未改造作物下的表现显著更低。
• 实时性是硬约束：要做到具备经济性的 2–3 秒级采摘节拍，基于物理仿真的轨迹优化太慢，而采样类方法又牺牲最优性，规划层缺一个既快又能处理接触的方案。
• 跨品种泛化几乎没有解决：在单一品种上训练的感知与控制模型，换到形态差异较大的品种就退化，这直接决定了机器人无法像农机那样一机多用。
• 软体与数据驱动是两条被看好的路径：软体机器人与连续体机构可降低接触损伤，深度强化学习与自适应 LfD 则被认为更适合动态果簇。

它指出的开放问题

• 密集果簇中的非破坏性操作：如何量化瘀伤力学、在推挤与抓取中控制接触力，目前研究严重不足。
• 规划层缺乏不确定性建模：果实位姿、茎秆刚度、遮挡关系都带噪声，现有规划器基本按确定性环境处理。
• 触觉、本体感受与视觉的融合还停留在零散尝试，尚无统一的闭环控制框架。
• 缺少大规模真实与合成数据集支撑跨品种视觉泛化。
• 评价基准割裂：从实验室基准迁移到真实果园/温室时，缺乏统一、可比的性能指标与报告规范。

为什么值得读

Journal of Field Robotics 是野外机器人领域公认的权威期刊，而林肯大学 LIAT 是欧洲农业机器人的核心力量之一，Ghalamzan 团队长期做草莓采收与农业操作学习。这篇综述的价值不在于「罗列了多少论文」，而在于它诚实地把系统级失败拆到了子系统：它明确告诉你，再堆检测精度不会让采收机器人落地，问题在遮挡下的操作、在实时规划、在跨品种泛化。对于想判断「果蔬采摘机器人还有多远」的读者，这是目前最有参考价值的一篇。