1. 模型

1.1 强化学习模型

1.1.1 将 状态价值评估 和 策略价值评估 融合到一起尝试

如flybird,
状态价值： agient状态—鸟的高度，鸟的速度，环境状态----柱子等
策略价值：鸟的动作—上升，下降

模型1的责任是计算出鸟的期望位置，如需要多少高度。-----目标部分

模型2是根据上个模型计算出的高度信息，将预测结果变为现实-------执行部分

两个模型，loss不相同，目标不相同，但串接在一起，实现整体目标的一小部分。

期望状态：

flybird的环境，能输出通过杆子的高度信息，执行部分去执行高度信息。相当于将一个二维的转换成两个一维的。

问题：

是否能提升性能？如，倒立摆，位置0为最高反馈，目标一直输出0，执行部分去执行。在这个状态中，目标部分则被跳过。

2. loss

损失函数，应该是多维度的，如果分类不佳，是否损失函数的维度不够。
需要模型来评估关联参数，和评价维度。

只要前提条件加的多，你就是世界第一。
其中这个前提条件，就是loss大的部分，