将传统标签传达办法与简略模型相结合即在某些数据集上超越了当时最优 GNN 的功能，这是康奈尔大学与 Facebook 联合提出的一项研讨。这种新办法不仅能比美当时 SOTA GNN 的功能，而且参数量也少得多，运行时更是快了几个数量级。

图神经网络(GNN)是图学习方面的首要技能。可是咱们对 GNN 成功的奥妙以及它们关于优异功能是否必定知之甚少。挑拨，来自康奈尔大学和 Facebook 的一项研讨提出了一种新办法，在许多规范直推式节点分类(transductive node classification)基准上，该办法超越或比美当时最优 GNN 的功能。

这一办法将疏忽图结构的浅层模型与两项简略的后处理过程相结合，后处理步运用标签结构中的相关性：(i) 「差错相关」：在练习数据中传达残差以纠正测验数据中的差错;(ii) 「猜测相关」：滑润测验数据上的猜测成果。研讨人员将这一过程称作 Correct and Smooth (C&S)，后处理过程经过对前期根据图的半监督学习办法中的规范标签传达(LP)技能进行简略修正来完结。

该办法在多个基准上超越或挨近当时最优 GNN 的功能，而其参数量比后者小得多，运行时也快了几个数量级。例如，该办法在 OGB-Products 的功能超越 SOTA GNN，而其参数量是后者的 1/137，练习时刻是后者的 1/100。该办法的功能标明，直接将标签信息归入学习算法可以轻松完结明显的功能进步。这一办法还可以融入到大型 GNN 模型中。

论文地址

GitHub 地址

图神经网络的缺点

继神经网络在计算机视觉和自然言语处理范畴的巨大成功之后，图神经网络被用来进行联系数据的猜测。这些模型获得了很大发展，如 Open Graph Benchmark。新式 GNN 架构的许多规划思维是从言语模型(如注意力)或视觉模型(如深度卷积神经网络)中的新架构改编而来。可是，跟着这些模型越来越杂乱，了解其功能收益成为重要应战，而且将这些模型扩展到大型数据集的难度有所增加。

新办法：标签信息 + 简略模型

而这篇论文研讨了结合更简略的模型可以到达怎样的功能，偏重点了解在图学习特别是在直推式节点分类中，有哪些进步功能的时机。

研讨者提出了一个简略的 pipeline(参见图 1)，它包括 3 个首要部分：

• 根底猜测(base prediction)，运用疏忽图结构(如 MLP 或线性模型)的节点特征完结;
• 校对过程，这一步将练习数据的不确定性传到达整个图上，以校对根底猜测;
• 滑润图猜测成果。

过程 2 和 3 仅仅后处理过程，它们运用经典办法进行根据图的半监督学习，即标签传达。

经过对这些经典 idea 进行改善和新的布置，该研讨在多个节点分类使命上完结了 SOTA 功能，超越大型 GNN 模型。在该结构中，图结构不用于学习参数，而是用作后处理机制。这种简略性使模型参数和练习时刻减少了几个数量级，而且可以轻松扩展到大型图中。此外，该办法还可以与 SOTA GNN 结合，完结必定程度的功能进步。

该办法功能进步的首要来历是直接运用标签进行猜测。这并不是一个新主意，但很少用于 GNN。该研讨发现，即使是简略的标签传达(疏忽特征)也能在许多基准测验中获得超卓的必定。这为结合以下两种猜测才能来历供给了动力：一个来历于节点特征(疏忽图结构)，另一个来历于在猜测中直接运用已知标签。

详细而言，该办法首要运用一个根据节点特征的根底猜测器，它不依赖于任何图学习。然后，履行两种类型的标签传达 (LP)：一种经过建模相关差错来校对根底猜测;一种用来滑润终究猜测。研讨人员将这两种办法的结合称作 Correct and Smooth(C&S，参见图 1)。LP 仅仅后处理过程，该 pipeline 并非端到端练习。此外，图只在后处理过程中运用，在前处理过程中用于增强特征，但不用于根底猜测。这使得该办法比较规范 GNN 模型练习更快速，且具有可扩展性。

该研讨还运用两种 LP 和节点特征的优势，将这些互补信号结合起来可以获得优异的猜测成果。

试验

为了验证该办法的有效性，研讨者运用了 Arxiv、Products、Cora、Citeseer、Pubmed、Email、Rice31、US County 和 wikiCS 九个数据集。

节点分类的开始成果

下表 2 给出了相关试验成果，研讨者得出了以下几点重要发现。首要，运用本文提出的 C&S 模型，LP 后处理过程会带来巨大增益(如在 Products 数据集上，MLP 的根底猜测精确率由 63% 进步至 84%);其次，具有 C&S 结构的 Plain Linear 模型的功能在许多情况下优于 plain GCN，而且无可学习参数的办法 LP 的功能一般也比美于 GCN。这些成果标明，经过简略运用特征在图中直接兼并相关往往是更好的做法;最终，C&S 模型变体在 Products、Cora、Email、Rice31 和 US County 等 5 个数据集上的功能一般明显优于 SOTA。在其他数据集上，体现最佳的 C&S 模型与 SOTA 功能之间没有太大的距离。

运用更多标签进一步进步功能

下表 4 展现了相关成果，强调了两点重要发现。其一，关于想要在许多数据集上完结杰出功能的直推式节点分类试验而言，实际上并不需求规划大且练习本钱高的 GNN 模型;其二，结合传统的标签传达办法和简略的根底猜测器可以在这些使命上优于图神经网络。

更快的练习速度，功能超越现有 GNN

与 GNN 或其他 SOTA 解决方案比较，本文中的 C&S 模型需求的参数量往往要少得多。如下图 2 所示，研讨者制作了 OGB-Products 数据集上参数与功能(精确率)的改变曲线图。

除了参数量变少之外，真实的增益之处在于练习速度更快了。拜访研讨者在根底猜测中没有运用图结构，与其他模型比较，C&S 模型在坚持精确率适当的徘徊往往完结了练习速度的数量级进步。

详细而言，与 OGB-Products 数据集上的 SOTA GNN 比较，具有线性根底猜测器的 C&S 结构体现出更高的精确率，而且练习时长减至 1/100，参数量降至 1/137。

功能可视化

为了更好地了解 C&S 模型的功能，研讨者将 US County 数据集上的猜测成果进行了可视化操作，详细如下图 3 所示。正如预期的相同，关于相邻 county 供给相关信息的节点而言，残差相关往往会予以纠正。