关于深度学习下的神经网络总结( 八 ) _神经

GAN的训练过程如下：
生成器生成一些假数据，判别器将假数据和真实数据进行比较，并给假数据评分。评分结果和真实数据一起用于更新判别器的权重。生成器再次生成一些假数据，使用更新后的判别器重新评分，得到假数据的得分。评分结果再次被用于更新判别器的权重。这个过程不断迭代，直到生成器产生的假数据无法被判别器区分出真假为止。
GAN的创新之处在于，它利用了对抗的思想，即在训练过程中，生成器和判别器互相对抗，并不断地优化彼此的表现。因此，GAN可以生成逼真的图像、音频、文本等各种类型的数据。
除了基础的GAN，还有一些GAN的变体，如条件GAN（ GAN）、 GAN、等等。这些变体在原有的GAN结构上做了一些改进和扩展，使得GAN能够在更广泛的应用场景中发挥作用，如图像转换、风格迁移、语音合成等领域。
然而，GAN也存在一些问题，如模式崩溃、训练不稳定等。因此，在实际应用中需要谨慎使用，并需要结合具体场景进行优化。另外，由于GAN需要大量的计算资源和复杂的训练过程，对于一些小规模、资源有限的应用场景来说，可能并不适合使用GAN 。
六.图神经网络
图神经网络目前只是简单的研究了关于三剑客的知识以及结点嵌入的知识。
1.图卷积神经网络
图卷积神经网络（Graph, GCN）是一种用于处理图数据的深度学习模型，由 Kipf和Max 在2016年提出。
GCN的目标是对于给定的图结构数据，通过学习节点之间的连接关系来预测或分类节点的属性。它通过卷积神经网络（, CNN）的灵感来设计，利用局部连接和参数共享的思想实现对图数据的有效建模。与CNN不同的是，GCN的输入是一个图而不是一个二维图像。
GCN的主要思想是通过矩阵乘法来实现节点特征的聚合。
GCN的一个优点是可以处理任意类型的图结构数据，而不需要先进行图的手工特征提取或转换。因此，GCN被广泛应用于推荐系统、社交网络分析、图像处理等领域。但同时，GCN也存在一些限制，如对于大规模图数据的处理能力较弱，对于高维稀疏数据的表达能力有限等问题。
2.图注意力网络
图注意力网络（Graph, GAT）是一种用于处理图结构数据的深度学习模型，由Petar 等人在2018年提出。
与传统的图卷积神经网络（GCN）相比，GAT引入了注意力机制来动态地计算每个节点之间的邻居关系的重要性，从而提高了对于局部信息的建模能力。
GAT的核心思想是：对于每个节点ii，通过学习注意力权重来自适应地聚合所有邻居节点的特征向量，得到一个新的节点表征。这个过程可以表示为：
hi(l+1)=σ(∑j∈NiαijW(l)hj(l))hi(l+1)?=σ(j∈Ni?∑?αij?W(l)hj(l)?)
其中，hi(l)hi(l)?是第ll层的节点特征向量，NiNi?是节点ii的邻居节点集合，αijαij?是计算节点ii和jj之间注意力权重的值，W(l)W(l)是第ll层的权重矩阵，σσ是激活函数。
αijαij?的计算方式是利用一个含有参数的前馈神经网络来实现，具有很强的非线性能力，可以捕捉节点之间的复杂关系。同时，为了保证注意力权重的可解释性，GAT还引入了自注意力机制，即每个节点的特征向量也会被自身作为邻居节点计算出注意力权重，从而可以考虑到节点本身的重要性。
通过堆叠多层GAT，可以实现对于节点信息的逐层精细化处理，从而提高图数据的表达能力。同时，GAT也具有对于任意类型的图结构数据的处理能力，因为其注意力机制不依赖于事先定义的邻接矩阵。
GAT在推荐系统、社交网络分析、语义分割等领域都已经得到了广泛的应用，并且也在不断地被改进和扩展，例如通过多头注意力机制、残差连接等技术来提高模型的稳定性和泛化能力。