Reinforcement Learning Based Meta( 五 ) _路径

5.2链接预测结果
每个数据集的三种关系，Yago中的{, , }和NELL中的{ or, , }被评估为链接预测任务。对于特定的关系任务，例如，我们希望从RL代理获得各种元路径。与此相关的事实已从HIN中删除。然后根据去除的事实构造一个包含正对和负对的样本集。正对是直接从被移除的事实中得到的。每个负对是通过将真目标对象vd替换为伪目标对象v?每对中的D (v0, vd)其中v?D和vd有相同的类型。最后，我们采用带L1正则化的线性回归模型(Lao and Cohen 2010)，利用二元元路径特征进行链接预测，以预测一个测试对(vα，vβ)是否存在 (vα，vβ)关系。对于二进制元路径特性，如果一个元路径Ω连接一对(vα，vβ)，二进制元路径特性的值为1，否则该值为0 。
受试者工作特征(ROC)曲线和曲线下面积(Area under The curve, AUC)如图3所示。如图所示，使用我们的方法生成的元路径训练的分类器在所有六种关系中都表现出了卓越的性能。尽管现有的基于嵌入的方法，如和，在HIN上的表示学习方面取得了显著的进展，但我们发现，一旦HIN变得复杂，异质性会导致性能下降，证明了这一点。此外，有限的手工制作元路径也阻碍了的性能。此外，当两个对象通过较长的路径连接时，如的情况，这样的模型更糟糕。FSPG和考虑了自己产生的各种元路径，因此性能优于PCRW和PCRW，说明越有效的元路径性能越好。此外，我们的RL代理实现的卓越性能表明，它能够生成许多有效的元路径。
5.3Meta-paths分析
对于每个关系，经过训练的L1正则化线性回归，也称为Lasso回归，可以进行子集选择，并返回元路径的系数。这些系数表示元路径的权重。因此，我们在表2和表3中展示了RL代理生成的5个最相关的元路径。结果表明，我们的RL代理能够在HIN中找到各种元路径。以关系为例，这五个元路径都明显表明了“”对象和“”对象之间的强相关性，表明我们的方法可以自动找到各种元路径，而不需要任何手工制作过程。
通过我们的方法发现有趣的元路径
现有的手工制作方法可能无法诱导像-→-→这样的元路径，而这是一个人毕业于大学的有力指标。此外，我们的RL代理还发现了长长度的元路径，如NELL中的的第五个元路径。有趣的是，我们还发现我们的方法能够找到下义关系。以为例，元路径 ?→City中出现的关系是总部的下属关系。
5.4有效性
图4:RL模型分析:a)事件与成功率。原始数据用浅色点标记。这些曲线是通过对相应的原始数据进行平均滤波得到的。虚线表示模型没有类型上下文学习(TCL)模块。b)平均路径长度与奖励因子。
如前所述，大的搜索空间是在复杂HIN中进行推理的主要挑战。我们通过设计一个强化学习框架来解决这个问题。为了证明该方法的有效性，我们给出了不同训练集后十集内agent的平均推理成功率和平均奖励。如图4a所示，在γ = 1.5下，我们可以观察到或的平均推理成功率在300集之后趋于饱和，在500集之后趋于饱和。这些结果表明，我们的RL agent可以从给定的一对(v0, vd)中学习推理路径。即使代理以前没有见过对象，它仍然找到一个有希望的路径。
类型的背景下学习：
此外，为了便于理解类型上下文如何规范我们的框架，我们从框架中删除了类型上下文表示模块。因此，对象嵌入由可训练嵌入层初始化。如绿色和黄色曲线所示，不进行类型上下文学习的推理成功率提高较慢，说明训练过程收敛性较差。因此，性能差距揭示了类型上下文学习是我们的方法优越性的关键因素。类型上下文表示法学习HIN中的类型信息，意味着通过共享类型表示法可以快速有效地学习对象表示法。