夜雨聆风在巨大的自动化仓库内部，数百个机器人穿梭在货架间，收集并分发物品以满足源源不断的客户订单。在这个繁忙的环境中，即使是微小的交通拥堵或轻微的碰撞，也可能像滚雪球一样演变成严重的大范围减速。
为了避免这种效率低下的“雪崩效应”，来自麻省理工学院（MIT）和科技公司 Symbotic 的研究人员开发了一种新方法，能够自动保持机器人机队的平稳运行。该方法根据拥堵形成的情况，学习在每一时刻哪些机器人应该先行，并能自适应地优先处理即将被困住的机器人。 通过这种方式，系统可以提前重新规划路线，从而避开瓶颈。
该混合系统利用深度强化学习（Deep Reinforcement Learning）——一种用于解决复杂问题的强大人工智能方法——来确定哪些机器人应被优先考虑。随后，一种快速可靠的规划算法向机器人发送指令，使它们能够在不断变化的环境中做出迅速反应。
在受真实电子商务仓库布局启发的模拟实验中，这种新方法比其他方法提高了约 25% 的吞吐量。更重要的是，该系统能够快速适应具有不同机器人数量或不同仓库布局的新环境。
“在制造业和物流业中，有许多决策问题依赖于人类专家设计的算法。但我们已经证明，借助深度强化学习的力量，我们可以实现‘超人’般的表现。这是一种非常有前景的方法，因为在这些巨大的仓库中，即使吞吐量增加 2% 或 3%，也会产生巨大的影响，”MIT 信息与决策系统实验室（LIDS）研究生、该研究论文的第一作者韩峥表示。
与韩峥共同撰写论文的还有：LIDS 博士后马一宁（Yining Ma）、Symbotic 公司的 Brandon Araki 和陈景开（Jingkai Chen）；以及高级作者、MIT 土木与环境工程（CEE）及数据、系统与社会研究所（IDSS）副教授、LIDS 成员 Cathy Wu。该研究于今日发表在《人工智能研究杂志》（Journal of Artificial Intelligence Research）上。
重新规划机器人路线
同时协调电子商务仓库中的数百个机器人绝非易事。这个问题之所以特别复杂，是因为仓库是一个动态环境，机器人在达到目标后会不断接收新任务。当它们进出仓库作业区时，需要被迅速重新引导。
公司通常利用人类专家编写的算法来确定机器人移动的时间和地点，以最大化处理包裹的数量。但如果发生拥堵或碰撞，公司可能别无选择，只能关闭整个仓库数小时，由人工手动解决问题。
“在这种环境下，我们无法对未来做出精确预测。我们只知道未来可能发生的情况，比如进入的包裹量或未来订单的分布。随着仓库运营的进行，规划系统需要能够适应这些变化，”韩峥说。
MIT 的研究人员利用机器学习实现了这种适应性。他们首先设计了一个神经网络模型来观察仓库环境，并决定如何为机器人分配优先级。他们使用深度强化学习来训练该模型——这是一种试错法，模型在模仿实际仓库的模拟环境中学习控制机器人。当模型做出增加整体吞吐量并避免冲突的决策时，会获得奖励。
随着时间的推移，神经网络学会了高效协调大量机器人。“通过与受真实仓库布局启发的模拟环境互动，我们的系统获得了反馈，我们利用这些反馈使其决策更加智能化。训练后的神经网络随后可以适应具有不同布局的仓库，”韩峥解释道。
该设计旨在捕捉每个机器人路径上的长期约束和障碍，同时考虑机器人在仓库中移动时的动态交互。通过预测当前和未来的机器人交互，该模型计划在拥堵发生前将其化解。
在神经网络决定了哪些机器人获得优先权后，系统采用了一种久经考验的规划算法，告知每个机器人如何从一点移动到另一点。这种高效的算法帮助机器人在变化的仓库环境中快速反应。
这种方法的结合是关键。“这种混合方法建立在我团队关于如何在机器学习和经典优化方法之间实现‘取长补短’的研究基础之上。纯机器学习方法在解决复杂优化问题时仍面临困难，而人类专家设计有效方法又极其耗费时间和精力。但如果结合起来，正确使用专家设计的方法可以极大地简化机器学习任务，”Wu 教授表示。
克服复杂性
研究人员训练好神经网络后，在与训练期间所见不同的模拟仓库中测试了该系统。由于工业模拟对于这个复杂问题来说效率太低，研究人员自行设计了环境来模拟实际仓库中发生的情况。
平均而言，这种基于学习的混合方法在每个机器人交付的包裹数量方面，比传统算法及随机搜索方法提高了 25% 的吞吐量。 此外，他们的方法还能生成可行的路径规划，克服了传统方法造成的拥堵。
“特别是当仓库中的机器人密度增加时，复杂性呈指数级增长，传统方法很快就会失效。在这些环境中，我们的方法效率要高得多，”韩峥说。
虽然该系统距离实际部署仍有一段路要走，但这些演示凸显了在仓库自动化中使用机器学习引导方法的防行性和益处。未来，研究人员希望将“任务分配”纳入问题表述中，因为确定哪个机器人完成哪项任务也会影响拥堵。他们还计划将系统扩展到拥有数千个机器人的更大规模仓库中。
这项研究得到了 Symbotic 公司的资助。
