Polixir Revive

• 什么是REVIVE SDK
• 安装REVIVE SDK

教程

• 快速开始
• 准备数据
  • 如何构建决策流图（ *.yaml 文件）
  • 构建数组数据
  • 验证数据（可选）
• 定义奖励函数
• 训练模型
• 使用训练完成的模型
  • 使用保存的 .pkl 模型
  • 使用保存的 .onnx 模型

任务示例

• 使用REVIVE SDK控制摆杆的运动
  • 倒立摆杆平衡任务描述
  • 使用REVIVE SDK训练控制策略
• 使用REVIVE SDK控制着陆器进行悬停
  • 着陆器悬停任务描述
  • 使用REVIVE SDK训练控制策略
  • 不同策略的控制效果展示
• 使用REVIVE SDK控制冰箱温度
  • 冰箱温度控制系统介绍
  • 使用REVIVE SDK训练冰箱温度控制控制策略
  • 测试训练完成的策略模型
• 使用REVIVE SDK进行工业机器控制
  • 工业机器控制任务描述
  • 使用REVIVE SDK训练控制策略
• 使用 REVIVE SDK 控制 Mujoco-HalfCheetah 运动
  • Mujoco-HalfCheetah 任务描述
  • 使用REVIVE SDK训练控制策略

高级工具

• 引入外部变量
• 引入专家函数
• 多时间步节点拼接
• 添加时间步索引作为节点输入
• 冻结部分节点的网络参数
• 异构决策流图加载
• 引入空节点
• 自定义节点的损失函数
• 通过因果推理辅助构建决策流图
• 自定义网络节点
  • 1. 在 .yaml 文件中配置 custom_nodes：
  • 2. 编辑自定义网络节点文件：
• 引入专家约束
• 训练包含多个节点的控制策略
• 多判别器功能

训练结果解读

• 虚拟环境训练结果
  • 虚拟环境度量指标解读
  • rollout图解读
• 策略训练结果
  • 双环境验证解读
• 响应曲线
  • 什么是响应曲线
  • 用 REVIVE SDK 绘制响应曲线

核心 API

• revive.server
  • ReviveServer
    • ReviveServer.revive_config_file_path
    • ReviveServer.train()
    • ReviveServer.train_venv()
    • ReviveServer.train_policy()
    • ReviveServer.tune_parameter()
    • ReviveServer.stop_train()
    • ReviveServer.get_virtualenv_env()
    • ReviveServer.get_policy_model()
    • ReviveServer.get_parameter()
• revive.computation
  • VirtualEnv
    • VirtualEnv.to()
    • VirtualEnv.check_version()
    • VirtualEnv.reset()
    • VirtualEnv.target_policy_name
    • VirtualEnv.set_target_policy_name()
    • VirtualEnv.replace_policy()
    • VirtualEnv.infer_one_step()
    • VirtualEnv.infer_k_steps()
    • VirtualEnv.node_infer()
    • VirtualEnv.export2onnx()
  • PolicyModel
    • PolicyModel.to()
    • PolicyModel.check_version()
    • PolicyModel.reset()
    • PolicyModel.target_policy_name
    • PolicyModel.infer()
    • PolicyModel.export2onnx()
• revive.conf
  • base_config
    • global_seed
    • val_split_ratio
    • val_split_mode
    • ignore_check
    • venv_rollout_horizon
    • venv_gpus_per_worker
    • venv_metric
    • venv_algo
    • rollout_plt_frequency
    • rollout_dataset_mode
    • policy_gpus_per_worker
    • behavioral_policy_init
    • policy_algo
    • test_horizon
    • train_venv_trials
    • train_policy_trials
  • venv_algo_config
    • revive_p
      • revive_batch_size
      • revive_epoch
      • fintune
      • finetune_fre
      • policy_hidden_features
      • policy_hidden_layers
      • policy_backbone
      • transition_hidden_features
      • transition_hidden_layers
      • transition_backbone
      • matcher_hidden_features
      • matcher_hidden_layers
      • g_steps
      • d_steps
      • g_lr
      • d_lr
    • bc
      • bc_batch_size
      • bc_epoch
      • policy_hidden_features
      • policy_hidden_layers
      • policy_backbone
      • g_lr
      • loss_type
  • policy_algo_config
    • ppo
      • ppo_batch_size
      • ppo_epoch
      • ppo_rollout_horizon
      • policy_hidden_features
      • policy_hidden_layers
      • policy_backbone
      • g_lr

其他

• FAQ
• Releases
  • 0.9.3
  • 0.9.2
  • 0.9.1
  • 0.9.0
  • 0.8.0
  • 0.7.3
  • 0.7.2
  • 0.7.1
  • 0.7.0
  • 0.6.0