汽车在通过感知系统获取到周围环境的信息后，需要进行最为核心的大脑决策工作，通过采用最优的决策方法，达到安全驾驶汽车的目的。决策结果最终输出给执行模块，实现汽车的加减速、转向、变换车道、超越前车等功能。同时需要监视周围环境，判断有无人员闯入、有无车辆恶意别车等情况。为了保障决策系统的安全性和可靠性，一般需要包含以下几个模块。

预测模块：作为决策规划控制模块上游的直接数据之一，预测模块的作用是预测感知检测到的物体的行为，并将预测结果具体转化为时空维度的轨迹并传输到下游模块。一般来说，感知模块输出的物体信息包括位置、速度、方向和物体分类（如车辆、行人、自行车）等物理属性。通过这些感知计算的对象属性往往是客观的物理属性。利用这些输出属性，结合客观物理规律，我们可以在很短的时间内对物体进行“瞬时预测”。预测模块需要解决的问题不仅限于结合物理规律的物体预测，更重要的是结合物体和周围环境对感知物体进行更宏观的行为预测，以及积累的历史数据知识。

路径规划：作为整个无人车决策控制规划系统的最上游模块，路径规划模块的输出严格依赖于无人车高精度地图的绘制。基于高精度地图定义绘制的路网道路划分，在一定的最优策略定义下，路由模块需要解决的问题是计算从起点到终点的最优道路序列。

行为决策：行为决策层在整个无人驾驶车辆决策规划控制软件系统中扮演着“副驾驶”的角色。该层收集了所有重要的车辆周围信息，不仅包括无人驾驶车辆本身的当前位置、速度、方向和车道，还包括无人驾驶车辆一定距离内所有与感知相关的重要障碍物信息以及预测的轨迹。行为决策层需要解决的问题是在了解信息的基础上决定无人驾驶汽车的驾驶策略。

动作规划： 行为决策层的下游模块是动作规划。它的任务是将行为决策的宏观指令解释成带有时间信息的轨迹曲线，从而给出最低的反馈控制来进行汽车的实际运行。更具体地说，动作规划模块试图解决在一定约束下在一定范围内优化时空路径的问题。这里的“时空路径”是指车辆在一定时间内的轨迹。轨迹不仅包括位置信息，还包括整个轨迹和车辆姿态的时间信息：即到达每个位置的时间和速度，以及相关的运动变量如加速度、曲率、曲率的高阶导数等。