图卷积神经网络文本分类,图神经网络 文本分类

为什么有图卷积神经网络?
本质上说,世界上所有的数据都是拓扑结构,也就是网络结构,如果能够把这些网络数据真正的收集、融合起来,这确实是实现了AI智能的第一步 。
所以,如何利用深度学习处理这些复杂的拓扑数据,如何开创新的处理图数据以及知识图谱的智能算法是AI的一个重要方向 。
深度学习在多个领域的成功主要归功于计算资源的快速发展(如GPU)、大量训练数据的收集,还有深度学习从欧几里得数据(如图像、文本和视频)中提取潜在表征的有效性 。
但是,尽管深度学习已经在欧几里得数据中取得了很大的成功,但从非欧几里得域生成的数据已经取得更广泛的应用,它们需要有效分析 。
如在电子商务领域,一个基于图的学习系统能够利用用户和产品之间的交互以实现高度精准的推荐 。在化学领域,分子被建模为图,新药研发需要测定其生物活性 。
在论文引用网络中,论文之间通过引用关系互相连接,需要将它们分成不同的类别 。自2012年以来,深度学习在计算机视觉以及自然语言处理两个领域取得了巨大的成功 。

图卷积神经网络文本分类,图神经网络 文本分类

文章插图
假设有一张图,要做分类,传统方法需要手动提取一些特征,比如纹理,颜色,或者一些更高级的特征 。然后再把这些特征放到像随机森林等分类器,给到一个输出标签,告诉它是哪个类别 。
而深度学习是输入一张图,经过神经网络,直接输出一个标签 。特征提取和分类一步到位,避免了手工提取特征或者人工规则,从原始数据中自动化地去提取特征,是一种端到端(end-to-end)的学习 。
相较于传统的方法,深度学习能够学习到更高效的特征与模式 。图数据的复杂性对现有机器学习算法提出了重大挑战,因为图数据是不规则的 。
【图卷积神经网络文本分类,图神经网络 文本分类】每张图大小不同、节点无序,一张图中的每个节点都有不同数目的邻近节点,使得一些在图像中容易计算的重要运算(如卷积)不能再直接应用于图 。此外,现有机器学习算法的核心假设是实例彼此独立 。
然而,图数据中的每个实例都与周围的其它实例相关,含有一些复杂的连接信息,用于捕获数据之间的依赖关系,包括引用、朋友关系和相互作用 。最近,越来越多的研究开始将深度学习方法应用到图数据领域 。
受到深度学习领域进展的驱动,研究人员在设计图神经网络的架构时借鉴了卷积网络、循环网络和深度自编码器的思想 。为了应对图数据的复杂性,重要运算的泛化和定义在过去几年中迅速发展 。
谷歌人工智能写作项目:神经网络伪原创
文本分类的方法
文本分类问题与其它分类问题没有本质上的区别,其方法可以归结为根据待分类数据的某些特征来进行匹配,当然完全的匹配是不太可能的,因此必须(根据某种评价标准)选择最优的匹配结果,从而完成分类文案狗 。
后来人们意识到,究竟依据什么特征来判断文本应当隶属的类别这个问题,就连人类自己都不太回答得清楚,有太多所谓“只可意会,不能言传”的东西在里面 。
人类的判断大多依据经验以及直觉,因此自然而然的会有人想到何让机器像人类一样自己来通过对大量同类文档的观察来自己总结经验,作为今后分类的依据 。这便是统计学习方法的基本思想 。
统计学习方法需要一批由人工进行了准确分类的文档作为学习的材料(称为训练集,注意由人分类一批文档比从这些文档中总结出准确的规则成本要低得多),计算机从