定义奖励函数¶

奖励函数是强化学习中非常重要的一部分。它定义了策略在环境中采取动作所得到的奖励，这个奖励可以是正数、负数或零。强化学习的目标就是最大化累积奖励，因此奖励函数定义了策略的优化目标。

在强化学习中，智能体通过不断地与环境交互来寻找最优策略。策略会根据当前状态选择一个行动，并接收相应的奖励以及下一个状态。这样的过程会不断地进行，直到达到终止状态为止。如果策略在一系列动作和状态转换中获得高额的奖励，那么它就找到了一种较好的策略。因此，奖励函数的设计对于强化学习策略的优化至关重要。一个好的奖励函数应该能够指导策略向着预期的方向进行学习。

REVIVE SDK支持以python源文件的方式定义奖励函数。奖励函数定义了策略的优化目标。奖励函数的输入是单步决策流的数据，奖励函数的输出当前步策略获得的奖励值。下面给出一些奖励函数的示例：

Note

奖励函数的名称必须是 get_reward 。

假设我们要教一个智能体玩一款跳跃游戏。该智能体应该根据屏幕上的信息，学习如何跳过障碍。奖励函数可以设计为，每当智能体跳过一个障碍，就给予一定的正面奖励；每次掉入障碍时，就给予一定的负面奖励。对应的奖励函数示例如下：

import torch
from typing import Dict

def get_reward(data: Dict[str, torch.Tensor]) -> torch.Tensor:
    """奖励函数"""

    # 获得是否跳过障碍的状态
    is_passed = torch.gt(data['obs'][..., :1], 0.5)

    # 通过障碍给予100的奖励，不通过则给予-10的奖励(惩罚)
    passed_reward = 100
    unpassed_reward = -10

    # 根据条件计算每一个时间步的奖励
    reward = torch.where(is_passed, passed_reward, unpassed_reward)

    return reward

如果我们面对一个机器人控制任务，策略的目标是将将机器人从一个位置移动到另一个位置的情况，奖励函数会根据机器人与目标位置的距离的缩小值来计算。那么对应的奖励函数示例如下：

import torch
from typing import Dict

def get_reward(data: Dict[str, torch.Tensor], target_pos: torch.Tensor) -> torch.Tensor:
    """机器人控制任务奖励函数"""

    # 获取当前机器人在做动作之前的位置
    pos = data['obs'][..., :2]
    # 获取当前机器人在做动作之后的位置
    next_pos = data['next_obs'][..., :2]
    # 获取目标位置
    target_pos = data['target_pos'][..., :2]

    # 计算机器人与目标位置的距离的缩小值作为reward
    dist1 = torch.norm(pos - target_pos)
    dist2 = torch.norm(next_pos - target_pos)
    reward = (dist1 - dist2) / dist1

    return reward

需要注意，在使用奖励函数对数据进行处理时，通常会将多个数据按批量（batch）组织起来一次性进行处理。这种方式可以提高代码的运行效率。因此，在编写奖励函数时，需要注意保证函数能够处理与输入张量形状相对应的多维数据。此外，在计算奖励时，我们通常会关注最后一维的特征维度。为方便处理，奖励函数的计算维度通常都设在了最后一维。因此，在使用数据时需要使用切片（ [..., n:m ] ）的方式获取数据的最后一维的特征，并对特征进行计算。例如，取出obs数据的最后一维的前两个特征，可以使用以下方式：

obs_features = data['obs'][..., :2]  # 取最后一维的第一列和第二列

而对应返回的reward应该是一个对应的Pytorch Tensor，batch维度保持和输入数据一致，最后一维特征的维度应该是1。

Note

只有在训练策略模型时才需要并使用定义的奖励函数。训练虚拟环境模型时不需要定义奖励函数。因此REVIVE SDK支持在训练策略时使用不同的奖励函数训练多个策略模型。