Graph Transformer是一种将Transformer架构应用于图结构数据的特殊神经网络模型。该模型通过融合图神经网络(GNNs)的基本原理与Transformer的自注意力机制，实现了对图中节点间关系信息的处理与长程依赖关系的有效捕获。 Graph Transformer的技术优势 在处理图结构数据任务 ...

药物-药物相互作用预测中，传统图模型难以捕捉多元素协同效应。本文提出MLHTHC框架，通过构建四属性（化学结构、ATC编码、药物类别、靶点）多层数值相似超图，利用谱哈明相似性加权优化各层数据贡献，结合超图卷积神经网络提取局部高阶结构特征，再通过 ...

本研究针对蛋白质功能预测中远距离蛋白质潜在功能关系难以捕捉的问题，开发了基于PPI网络多跳邻域序列化和可解释人工智能(XAI)的图Transformer方法SEGT-GO。通过创新的序列化编码技术将多跳邻域信息转化为可计算特征，结合SHAP框架优化特征选择，在跨物种大 ...

Swin Transformer（Liu et al。，2021）是一个基于Transformer的深度学习模型，在视觉任务中取得了最先进的性能。与VIT不同Swin Transformer更加高效并且有更高的精度。由于Swin Transformer的一些特性，现在许多视觉的模型体系结构中，Swin Transformers还是被用作模型的骨干。

在我们今天的生活中，图的示例包括社交网络、例如Twitter、Mastodon、以及任何链接论文和作者的引文网络，分子，知识图、例如 UML 图、百科全书以及有超链接的网站，表示为句法树的句子以及任何的 3D 网格等，可以说图已经无处不在。 近日，Hugging Face 研究 ...

Transformer 架构的伟大之处，不仅在于提出了注意力机制，更在于提供了一套 “模块化” 的设计框架 —— 通过组合编码器（Encoder）和解码器（Decoder），可以衍生出多种结构变体。从 BERT 的 “纯编码器” 到 GPT 的 “纯解码器”，从 T5 的 “编码器 - 解码器” 到 ...

Transformer 自 2017 年出世以来就在 AI 领域高举高打，ChatGPT 引发全球大型语言模型热潮后更是在 NLP 领域被赋予了神话般的地位。 但近日，一篇正在审核中的 ICLR 2023 投稿论文（如下）经研究后提出一个观点：单一 Transformer 并不具备图灵完备性，其计算能力存在 ...