据上次新模型开始正式使用以来，发现了几个问题。

1. 因为是一个转债对应一个模型，导致每次预测结果很少。
2. 预测出来的结果，大部分还是受大盘影响。不过大部分最终还是会回本盈利，时间长短的问题。
3. 需要经常更新模型，我大概是每两周重新训练。

后面我开始尝试把沪深300的开盘价、收盘价、最高价、最低价加入到参数中，发现按照原来算法很难收敛。即使训练出来的模型，回测胜率也很低。

接着我按照上次文中的思路，在回报函数中加入本金参数，对每次买卖进行计算，如果 本金<=0 则把done设置为true,并且回报参数设置为一个很大的负数，比如-100。按此方式进行训练，发现效果貌似比最开始的模型要稍好。

然后我把这样训练出来的模型作为通用模型，对所有转债和对应的正股进行回测，找出对应胜率最高的一个模型，用来日常使用，效果也还不错。