QUARTET：基于四分支交叉注意力与随机游走轨迹增强的关系图Transformer
关系深度学习将多表数据库建模为异构时序图，目前图Transformer在该领域表现优异。然而，现有代表性模型RelGT存在局部采样子图连接松散阻碍消息传递，以及全局注意力依赖单一特征记忆而忽视宏观动态的两大缺陷。为此，研究人员提出了QUARTET架构，通过结合四分支交叉注意力与随机游走轨迹，增强全自注意力机制在关系图表征中的表达能力。
推荐理由针对关系深度学习中图Transformer的采样稀疏与全局动态建模不足问题，提出了新颖的增强架构。
原标题：QUARTET: Quad-branch cross-Attention and Random-walk Traces for Enhancing Transformers on Relational Graphs
阅读 arXiv 机器学习 原文 ↗