多时间步节点拼接
===================

多时间步节点用于拼接历史多个时间步的数据作为输入，以提高模型精度和鲁棒性。使用多时间步节点可以为节点增加更丰富的输入信息，
从而增加模型的捕捉能力和性能。以汽车驾驶任务为例，考虑到当前时刻的速度只包含有限的信息，
为了提高预测的准确性和鲁棒性，通常需要拼接多个时间步的速度信息。通过综合利用历史多个时间步的速度信息，
我们可以获取到汽车更丰富的速度信息，例如加速度、减速度等。这样，可以更精确地预测汽车的未来速度和行驶状态，
并提高车辆控制系统的精度和反馈能力。

因此，拼接历史多个时间步的数据作为输入通常对学习环境模型是很有帮助的。而REVIVE SDK提供了一种配置多时间步节点的简单方法。


下面使用一个示例展示如何进行多时间步节点的拼接. 

.. code:: yaml

 metadata:

    graph:
      action:
      - observation
      next_observation:
      - action
      - observation
  
      columns:
      ...

在下面的 ``.yaml`` 文件中，我们通过添加节点信息并将 ``observation`` 的 ``ts`` 属性配置为5，
以获得 ``observation`` 节点的历史5步拼帧数据。多时间步拼接后的节点名称为 ``ts_observation`` 。
``ts_observation`` 节点将自动将历史5时间步的 ``observation`` 数据进行拼接。

.. important:: REVIVE SDK会自动检测存在 ``ts_`` 前缀的节点。用户应避免在自定义节点名时使用 ``ts_`` 前缀。此外，在上述例子中拼帧节点 ``ts_observation`` 可以类比为一个“长度为5的队列”， ``observation`` 在其中符合FIFO原则，最新的 ``observation`` 将会被拼在特征维度的最后。



.. code:: yaml

 metadata:

    graph:
      action:
      - ts_observation
      next_ts_observation:
      - action
      - ts_observation
  
    columns:
    ...

    nodes: 
      observation:
        ts: 5

还可以增加专家函数以完成多时间步节点的转移函数。该方法虽然比较复杂，但是可以降低REVIVE学习转移节点的难度，提高虚拟环境模型精度。

.. code:: yaml

 metadata:

 graph:
   action:
   - ts_observation
   next_observation:
   - ts_observation
   - action
   next_ts_observation:
   - next_observation
   - ts_observation
 
 columns:
 ...

 nodes: 
   observation:
     ts: 5

 expert_functions: 
   next_ts_observation: 
     'node_function' : 'expert_function.next_ts_observation_func' 


.. code:: python

 import torch
 from typing import Dict

 def next_ts_observation_func(data: Dict[str, torch.Tensor]) -> torch.Tensor:
    obs_dim = data["next_observation"].shape[-1]
    next_obs = data["next_observation"]
    ts_obs = data["ts_observation"]
    next_ts_obs = torch.cat([ts_obs, next_obs], axis=-1)[..., obs_dim:]
   
    return next_ts_obs