Congruency in Machine Learning)

1 INTRODUCTION

引入 congruency 来量化用于更新的新信息与从先前迭代中学到的知识之间的一致性

Fig. 1，显著性预测任务中的一致性说明。
以顺序方式提供训练样本，会出现不一致的情况

1. S_ j 代表样本
2. w_ i 是时间步长 i 的权重
3. Δwi 是 Sj 对 wi 生成的权重更新
4. 箭头代表模型的更新

4 METHODOLOGY

4.1 Overview

Fig. 2，使用提出的DCL模块进行模型训练

1. 首先给出训练样本（I,y），其中I是Image，y是ground-truth
2. 从图像中提取出的特征 x 经过分类器，计算出预测值y^
3. loss function的导数 g，与传统的用作优化器确定Δw，以逐层向后传播错误的方式不同；在提出的DCL方法中，g 用来估计一个与以前的更新一致的校正梯度g^~

4.2 Direction Concentration Learning

4.3 Theoretical Lower Bound

Fig. 4，给定螺旋收敛路径，为了自适应地产生收敛到最小值的适当的累积梯度，定义了一个有效窗口来定期更新引用

4.5 Effect of DCL

Fig. 5，用三种流行的优化器对收敛路径进行了可视化比较，结果表明本文提出的DCL方法鼓励收敛路径尽可能平直

6 ANALYSIS

6.1 Validity of Congruency Metric

Fig. 7，一致性度量的有效性，Cong表示有效性，Sim对应余弦相似性，特别的，第四个实验中样本图像和测试图像之间的一致性为负数，一个原因是室内外陈设的区别，照明等视觉现象可能是造成这种差异的另一个因素