本讲首先介绍了Hopfield网，它的节点都只有两个取值，节点（单元）之间循环连接，而且对称。研究表明，这种网络存在一个全局的能量函数，这也是Hopfield网与其它前馈神经网络的最大不同：所有性质都是由能量函数推演。接着，介绍了能量函数、能量差的概念，并说明Hopfield网的目标是让整个网络的能量最小。然而，不加任何修改的权重迭代算法使得网络容易收敛到某个“伪最小值点”。为了避免这种现象的发生，可以采取忘却法（unlearning）或伪似然法
Hopfield网的意义在于可以存储某些记忆，并有一定的修复能力。另一种用法是让其构造一些对输入的解释，此时需要引入隐藏单元。本讲第三部分介绍了带有隐藏单元的Hopfield网。然而，其决策仍然是要降低网络的总能量，也会有局部最小值的问题。第四部分介绍了如何引入随机噪声来避免这个问题，并指出随机+隐藏单元+Hopfield网=玻尔兹曼机。最后，介绍了玻尔兹曼机如何对数据建模

详细内容戳我

从本讲开始，Hinton将由Hopfield网络开始，一步步讲玻尔兹曼机、受限玻尔兹曼机、深度信念网络等等，然而这些概念跟我工作的关系都不是太大（似乎也有点过时）。因此，从本讲开始，我做的笔记可能会比较随意，目的是尽早结束这门课。比较显著的一点是之后有两讲各自会有一个optional的部分，这部分会被跳过去——当然，尽管写得随意，但是我并不想太敷衍，也希望我能做到