开发本质是短期利益,但很多时候短期利益最大会会“短视”,所以要有Exploration探测,二者要权衡。

我个人的看法就是开发需要尽可能的扩大化收益,因此需要选取当前最高收益的步骤,但是从长远来看,问题的解空间可能存在着一些虽然目前收益不是很大,但是最终的总价值收益会比较高。很多时候,选择短期利益很容易就会造成“短视”现象。

试探就是为了探索这样的步骤,避免局部最优而采取的一种手段,因为如果时间无限长的话,那么随机选择每一个步骤都是无限的,也就是说充分考虑了各种情况。智能体必须开发已有的经验来获取收益,同时也要进行试探,使得未来获得更好的动作选择空间。

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐