图嵌入

这个概念在深度学习领域最原初的切入点是所谓的Manifold Hypothesis（流形假设）。流形假设是指“自然的原始数据是低维的流形嵌入于(embedded in)原始数据所在的高维空间”。那么，深度学习的任务就是把高维原始数据（图像，句子）映射到低维流形，使得高维的原始数据被映射到低维流形之后变得可分，而这个映射就叫嵌入（Embedding）。比如Word Embedding，就是把单词组成的句子映射到一个表征向量。但后来不知咋回事，开始把低维流形的表征向量叫做Embedding，其实是一种误用。

相对熵（relative entropy），又被称为Kullback-Leibler散度（Kullback-Leibler divergence）或信息散度（information divergence），是两个概率分布（probability distribution）间差异的非对称性度量 [1]  。在信息理论中，相对熵等价于两个概率分布的信息熵（Shannon entropy）的差值 [2]  。相对熵是一些优化算法，例如最大期望算法（Expectation-Maximization algorithm, EM）的损失函数 [3]  。此时参与计算的一个概率分布为真实分布，另一个为理论（拟合）分布，相对熵表示使用理论分布拟合真实分布时产生的信息损耗 [2]  。

 Graph Embedding

Struc2vec适用于节点分类中，其结构标识比邻居标识更重要是。采用Struc2vec效果好
Graph Embedding:
1. DeepWalk :采用随机游走，形成序列，采用skip-gram方 式生成节点embedding。
2. node2vec :不同的随机游走策略，形成序列，类似skip-gram方 式生成节点embedding。
3. LINE :捕获节点的一阶和二阶相似度，分别求解，再将- -阶二阶拼接在一起，作为节点的embedding
4. struc2vec :对图的结构信息进行捕获，在其结构重要性大于邻居重要性时，有较好的效果。
5. SDNE :采用了多个非线性层的方式捕获一阶二阶的相似性。

图卷积神经网络应该相信邻居吗？_哔哩哔哩_bilibili
简单粗暴快速理解GNN

简单粗暴快速理解GCN

 问题所在：

跳出公式，看清全局，图神经网络（GCN）原理详解_结构 (sohu.com)

不直接用而选用，是因为的结果不是对称矩阵，这个大家动手算一下就知道了。虽然两者结果不相同，但是已经做到了近似的归一化，而且保持了矩阵的对称性，我想这就是选用对称归一化的拉普拉斯矩阵的原因。 

(69条消息) 图傅里叶变换（GFT）_颹蕭蕭的博客-CSDN博客_图的傅里叶变换

知识图谱与知识图谱嵌入技术浅析 

简单快速讲解知识图谱嵌入（knowledge graph embedding） 

这里的负样本是随机取到的，打分函数可以看作为一个LOSS函数

TransE 这里会导致最后训练出来的 样本都特别地相似

 带你快速理解R-GCN（relational-GCN）

带你快速理解R-GCN（relational-GCN）_哔哩哔哩_bilibili

 简单快速教你理解图注意力网络graph attention network

 多头是因为要学习多个参数

图信号处理与图神经网络 

 图机器学习——信号处理视角（A signal processing perspective）_哔哩哔哩_bilibili

 图深度学习-05讲-图论基础5 (图信号处理2)_哔哩哔哩_bilibili

DTW算法：计算相似度