着陆器悬停控制

[SongyiGao]

项目背景

在航天领域，实现着陆器的精准悬停是一项重要任务。本项目旨在通过控制策略，使着陆器在月球表面的指定目标点（坐标为 (0,1)）实现悬停。传统的控制方法可能存在控制精度不足或适应性差等问题，因此需要一种更高效、更精准的控制策略来提升着陆器的悬停性能。

挑战与解决方案

• 挑战：
  • 如何设计一个能够精准控制着陆器悬停的策略，使其在复杂环境下保持稳定。
  • 如何高效地收集和利用历史数据来优化控制策略。
  • 如何在有限的训练资源下，快速训练出性能优异的控制模型。
• 解决方案：
  • 利用 REVIVE SDK 的历史数据驱动特性，通过收集悬停任务的历史决策数据，构建决策流图和数组数据，为模型训练提供基础。
  • 根据任务目标定义奖励函数，引导控制策略向预期方向优化，使着陆器能够更精准地悬停在目标位置。
  • 使用 REVIVE SDK 进行虚拟环境模型训练和策略模型训练，通过离线训练的方式，在不依赖实时环境交互的情况下，快速提升策略性能。

项目实现

1. 数据收集：使用基于坐标信息的控制策略模拟历史决策过程，收集悬停任务的历史数据。
2. 构建决策流图和准备数据：根据业务场景构建决策流图，定义数据之间的决策因果关系，并将原始数据转换为 .npz 文件进行存储。
3. 定义奖励函数：根据悬停任务的目标，设计奖励函数，当着陆器的 (x) 和 (y) 坐标偏差小于 0.2 时，给予 10 分奖励，否则给予 -0.3 分惩罚。
4. 模型训练：使用 REVIVE SDK 开始虚拟环境模型训练和策略模型训练，通过指定的命令行参数调用训练脚本，完成模型训练。
5. 测试与评估：将训练好的策略模型应用于着陆器悬停任务中，通过 jupyter notebook 脚本进行控制效果测试，评估策略性能。

成果与影响

• 性能提升：使用 REVIVE SDK 训练得到的控制策略的轨迹奖励均值可以达到 2808，相较于采样数据所用的基于规则策略（轨迹奖励均值为 358），策略控制效果显著提升。
• 优化控制效果：通过精准的悬停控制，提高了着陆器在复杂环境下的稳定性和可靠性，减少了因控制不精准导致的风险。
• 提高开发效率：利用 REVIVE SDK 的离线训练方式，避免了在线训练中环境交互的复杂性和资源消耗，加快了开发和优化的速度。

代码与资源链接

• 文档链接：使用 REVIVE SDK 控制着陆器进行悬停
• REVIVE SDK 源码库：REVIVE SDK 源码（假设存在，具体链接需根据实际情况提供）

控制效果

• 悬停任务控制效果：
• 不同策略控制效果对比：
  • 随机选择动作进行控制：
  • 基于规则的控制策略：
  • DQN 算法在线训练策略：
  • REVIVE SDK 离线训练策略：