广播：

如果将俩个形状不同的张量相加，如果没有歧义的话，较小的张量会被广播，以匹配较大张量的形状。

广播包含以下俩步骤：

向较小的张量添加轴（叫做广播轴），使其ndim与较大的张量相同

向较小的张量沿着新轴重复，使其形状与较大张量相同

神经网络剖析：

层：深度学习的基础组件

层就是一个数据处理结构，将一个或多个输入张量转换为一个或多个输出张量。

权重是利用随机梯度下降学到的一个或多个张量，其中包含网络的知识。

不同的张量格式与数据处理类型需要用到不同的层。

比如向量数据也就是2D张量中，通常用密集连接层，也叫全连接层或密集层。

序列数据中也就是3D张量中，通常用循环层来处理。

图像数据保存在4D张量中，通常用二维卷积来处理。

将层看作深度学习的乐高积木......

损失函数与优化器：

据有多个输出的神经网络可能具有多个损失函数，每个输出对应一个损失函数，但是，梯度下降过程必须基于单个标量损失值。因此，具有多个损失函数的网络，需要将所有损失函数取平均，变为一个标量值。

选择正确的目标函数是非常重要的，

对于一些常见问题，你可以遵循一些简单的指导原则来选择正确的损失函数。

二分类问题：可以采用二元交叉熵损失函数

多分类问题：分类交叉熵损失函数

序列学习问题：可以用联结主义时序分类问题

只有在面对全新真正问题的时候，你才需要自主开发目标函数。

什么是激活函数？为什么使用激活函数？

output = relu(dot(w, input) + b)

output = dot(w, input) + b

如果没有relu等激活函数（也叫飞线性）dense层将只包含俩个线性运算-----点积和加法：

这样dense层只能学习输入数据的线性变换，这种假设空间非常有限，无法利用多个层的表示优势。为了得到丰富的假设空间，从而充分利用多层表示优势，因而需要添加非线性或激活函数