- 作者信息：Xiao Wang, Houye Ji,Chuan Shi,Bai Wang,Peng cui,P. Yu,Yanfang Ye
- 论文来源：WWW '19: The Web Conference
- 论文地址：https://arxiv.org/pdf/1903.07293.pdf
本文介绍的论文是《Heterogeneous Graph Attention Network》。
该篇当中作者提出了一个新的基于注意力的异构图神经网络，包括节点级注意力和语义级注意力，通过学习节点级和语义级的注意力可以充分考虑节点和元路径的重要性，并且该模型可以通过分层的方式聚合基于元路径的邻居节点的特征来生成节点嵌入。
🍁 一、背景 |
尽管注意力机制在现在很多场景取得了很大成功，但是在面对异构图的图神经网络当中仍未被考虑，很多GNN都是处理同构图的，其实有些做法就是将异构图看成同构图，然后用传统GNN进行处理，但是这样会丧失掉很多语义信息。
异构图
异构图常被定义未 ，这两个就是顶点集合和边集合，但是异构图不同于同构图，图中的节点和边会存在多种类型。
元路径
元路径是连接异构图中不同对象的复合关系的一种媒介，它能够捕捉异构图中复杂的语义信息。
🍁 二、模型方法 |
符号说明
HAN架构
作者提出的HAN架构主要有两个部分，分别是节点级注意力模块、语义级注意力模块，分别用于学习每个元路径的节点表示和整体的节点表示。
从下图可以看出，异构图可以提取出 个元路径，作者认为每个元路径涵盖的语义信息不同，所以需要注意力模块进行捕捉，也就是对应下图
对于节点级注意力就很好理解了，就是将它的元路径邻居按照一定注意力分数进行聚合，得到中心节点的节点特征表示。
节点级注意力从下图可以看出，红框圈出的就是节点级注意力，因为每个元路径都会提取出不同的元路径邻居，所以节点注意力就是学习一个注意力分数给该中心节点的不同邻居，然后进行加权聚合作为该节点的新的表示特征。
语义级注意力
对于一个异构图会存在多个元路径，每个元路径贡献程度不同，所以这里也需要注意力机制，就是将上面每个元路径经过节点注意力得到的节点表示按照一定权重进行聚合，得到语义级信息。
多头注意力机制
由于异构图具有无标度特性，图数据的方差相当高。为了应对上述挑战，将节点级注意力扩展到多头注意力机制，使训练过程更加稳定。
具体来说，就是将节点级别的注意力重复K次，并将学习到的嵌入拼接起来作为语义特定的嵌入：
🍁 三、实验结果 |
节点分类任务
节点基于元路径的邻居节点和相应的注意力值(不同的颜色代表不同的类别,例如绿色代表数据挖掘,蓝色代表数据库,橙色代表无线通信)。
聚类任务
DBLP上的可视化嵌入，每个点表示一个作者，其颜色表示研究区域
🍁 四、总结 |
本文针对异构图分析中的几个基本问题，提出了一种基于注意力机制的半监督异构图神经网络。
提出的HAN能够捕获异构图背后复杂的结构和丰富的语义，该模型利用节点级注意力和语义级注意力分别学习节点和元路径的重要性，同时，所提模型统一利用了结构信息和特征信息。
实验结果包括分类和聚类证明了HAN的有效性，通过分析学习到的注意力权重包括节点级别和语义级别，提出的HAN证明了其潜在的良好可解释性。
算法流程
