官网介绍

MPE - PettingZoo Documentation

多粒子环境Multi Particle Environments (MPE) 是一组面向通信的环境，其中粒子代理可以（有时）移动，通信，看到彼此，推动彼此，并与固定的地标交互。

pip install 'pettingzoo[mpe]'

环境类型

这些环境中， Simple Adversary, Simple Crypto, Simple Push, Simple Tag, and Simple World Comm environments 是adversarial 对抗式的 (一个好“good” agent 被奖励，意味着一个对抗 “adversary” agent被惩罚，反之亦然，尽管并不是每次都能达到零和结果)。在这些环境中的大部分情况下， “good” agents 被渲染为绿色，与其对抗的 “adversary” 被渲染为红色。

而Simple Reference, Simple Speaker Listener, and Simple Spread 环境是cooperative合作性质的 (agents 必须一起合作来实现目标，及通过他们自己的成功和其他agents的成功获得混合奖励)。

重要概念

• Landmarks地标: Landmarks 是环境的不可控制的静态圆形特征图标。在一些环境中，例如 在Simple环境中, 它们是目的地，通过agents与它们间的距离，影响agents获得的奖励。 另一些环境中, 它们是阻碍agents运动的障碍。具体细节见环境的说明文档。

• Visibility可见度: 当一个agent 对于其他agent来说是可见的, 那么其他agent的观察空间就包含第一个agent的相对位置(在 Simple World Comm and Simple Tag,环境中，指的是第一个agent的速度)。如果一个agent暂时被隐藏(这仅可能发生在Simple World Comm环境中)那么这个agent的位置和速度设置为0。

• Communication通讯: 一些agents在一些环境中，可以将广播一条消息作为它们动作的一部分 (更多细节查阅相应环境对应的动作空间文档action space)，这些信息将会被传送到每一个被允许查看该消息的agent手上。在Simple Crypto环境中,此消息用于表示Bob和Eve已经重构了该消息。

• Color颜色: 所有agents被渲染为圆圈circles, 区分他们的唯一方式是颜色，因此大多数环境需要定义agent的颜色。agent无法观察颜色。

• Distances距离:开始时，地标 landmarks 和代理agents 通常在地图上从-1到1均匀随机放置。这意味着，它们通常相隔1-2个单位。在考虑奖励的规模（通常取决于距离）和观察空间（包含相对和绝对位置）时，这一点非常重要。

终止

游戏在运行 “通过max_cycles环境参数设定” 的指定周期cycles 后结束。所有环境的默认值都是25个cycles周期, 就像最初的OpenAI源代码一样。

观测空间 Observation Space

在该环境下，agent的观测空间是一个向量，其通常由以下几部分组成：agent’s 位置position和速度velocity，其他agent的相对位置和速度, 地标landmark的相对位置, 地标和agents’类型，以及收到其他agent的通讯信息。

如果一个智能体无法看到或观察到第二个智能体的通信，那么第二个智能体就不包含在第一个智能体的观察空间中，从而导致不同的智能体在特定环境下具有不同的观察空间大小。

动作空间 Action Space

Note: OpenAI的MPE 默认使用连续的动作空间

- 离散动作空间（默认Default）

动作空间是一个离散的动作空间，表示代理可以执行的动作和通信的组合。可以移动的智能体可以在4个基本方向中选择，或者什么都不做。可以通信的代理可以在2到10个环境相关的通信选项之间进行选择，这些选项将消息广播给所有可以听到它的代理。

- 连续动作空间（由continuous_actions=True设置）：

动作空间是一个连续的动作空间，表示代理可以执行的动作和通信。可以移动的代理可以在四个基本方向上输入一个介于0.0和1.0之间的速度，其中相对的速度（例如左和右）被加在一起。可以通信的代理可以在其访问的环境中的每个通信通道上输出连续值。