QUARTET:基于四分支交叉注意力与随机游走轨迹增强的关系图Transformer
关系深度学习将多表数据库建模为异构时序图,目前图Transformer在该领域表现优异。然而,现有代表性模型RelGT存在局部采样子图连接松散阻碍消息传递,以及全局注意力依赖单一特征记忆而忽视宏观动态的两大缺陷。为此,研究人员提出了QUARTET架构,通过结合四分支交叉注意力与随机游走轨迹,增强全自注意力机制在关系图表征中的表达能力。
阅读原文 ↗推荐理由:针对关系深度学习中图Transformer的采样稀疏与全局动态建模不足问题,提出了新颖的增强架构。# 图Transformer# 关系深度学习# 图神经网络# 注意力机制# RelBench