深度学习

张量场网络（Tensor Field Networks, TFNs）源于论文Tensor Field Networks: Rotation- and translation-equivariant neural networks for 3D point clouds，是一个为分子和物质建模量身定制的工具，其设计充分考虑了化学和物理学的原理，特别是对称性和不变性。通过这种方式，TFN提供了一个强大的框架，可以精确地捕捉分子的三维结构和它们如何相互作用。 1、TFN输入数据的Embedding 嵌入层的作用是将每个点的输入特征（例如原子的类型和状态）映射到一个高维空间，从而能更丰富地表示其化学性质和物理状态。在分子建模中，通过嵌入层将每个原子的类型和状态映射到一个高维空间，张量场网络能够更丰富地表示分子的化学性质和物理状态。这种嵌入表示为网络的后续层提供了基础，同时也是可学习的，确保了网络在训练过程中能够优化这些特征来更好地捕捉分子属性。特别是在处理三维空间中的分子时，张量场网络进一步将这些嵌入向量与SO(3)群的表示相关联，允许网络通过一系列不可约表示来捕捉不同旋转对称性级别的信息。 具体来说，张量场网络的每一层的输入和输出都是一个有限节点集\(\mathrm{S}\)，这些点位于3D空间\(\mathbb{R}^3\)中，每个节点都有一个与SO(3)群的表示相关联的向量。换句话说，网络中的每个节点不仅仅是三维空间中的一个坐标点，它还携带了一定的附加信息，这些信息以向量的形式体现，且这个向量是如SO(3)群元素那样可以变换的。在物理意义上，这意味着这些向量能够反映点的旋转性质和对旋转的响应方式，确保网络在处理旋转时能够保持一致性和不变性。这些向量实际上就是Winger D矩阵（详见第一章）不同的不可约表示，对应于旋转对称性的不同球谐函数阶数，这被称作\(\mathrm{l}\) -旋转阶数不可约表示。例如，\(l=0\)对应于标量（无方向的量），\(l=1\)对应于向量（有方向的量），而更高的\(\mathrm{l}\)

1、三种图同构问题 图同构问题是图论中的一个基本问题，它要求确定两个图是否在结构上完全相同。具体来说，这意味着存在一种顶点间的一对一映射，使得两个图中的顶点相互连接的方式完全一致。如果这样的映射存在，这两个图被认为是同构的。图神经网络是一种专为处理图结构数据设计的神经网络架构，它能够通过节点的特征信息和连接模式来学习图的表示。一个优秀的几何GNN模型可以有效地学习和提取节点和边的特征。这种学习方式使得GNN能够捕捉到图的局部和全局结构特征，这是判断图同构问题时的关键。简单说，对于图同构的识别能力是衡量GNN模型表征能力的重要方面。 LEFTNet中，定义了三种图同构结构： （1）树同构：任意邻接的两原子间的距离一致。 （2）三角同构：任意邻接的三原子构成的三角形一致。 （3）子图同构：任意两个三角形的相对位置保持一致。 具体示例如图1所示： 在图1(a)中，展示了一种满足树同构，但不满足三角同构的情况。三角同构不仅仅是距离上的相似，还包括了角度和方向的一致性。在图1(b)中，展示了一种满足三角同构，但不满足子图同构的情况，而LEFTNet的模型设计方向是让模型对这三种情况都有表征能力。 首先，为了满足树同构的要求，作者认为：只要正确抽取原子间距离即可，所有的几何GNN，无论是等变性质的还是不变性质的几乎均满足。 其次，为了满足三角同构的要求，作者认为：三角同构本质上是局域完备性问题。通过设计一个合理的局域正交坐标系，让此局域坐标有能力可以表征局部空间范围内所有的几何向量。同时还需要满足等变要求，通过将原坐标映射到局域坐标，即可满足局域完备性的要求。这里，LEFTNet的模型直接采用ClofNet中提出的局域坐标系。 最后，为了满足子图同构的要求，模型需要将局域完备性扩展到全域完备性，且这个过程是信息无损的。不幸的是，图结构中不同的节点建立的局域坐标系是不同的。不同局域坐标系相对位置不一样，换句话说，对不同局域坐标系对局部范围内点位置信息的建模角度不同，这导致局域信息汇聚过程中遭受信息损失，如图2所示。 如图2所示，点b和点c分别建立了局域坐标系，在这两个局域坐标系下，cluster（团簇）b和cluster c进行了有效映射。但由于局域坐标下的不同，b处的局域信息和c处的局域信息融合时会存在问题。类比理解可以将cluster b和cluster c看作喜结连理的一对夫妻的原生家庭，由于两个原生家庭所在的生活环境不同，直接交流起来难免存在矛盾。这时候怎么办呢？当然是找夫妻的家人或朋友做中间调理人呀！同理，可以通过节点b和c二者共同的邻居们 a（可能不止一个），两个局域坐标系的信息交互与融合便会更加的有效。下面给出相关概念的具体定义： 令\(S_{i}\)表示与上图节点\(\mathrm{b}\)关联的局域\(\text{clusterb}\)，这个局域包含节点\(\mathrm{b}\)的所有一跳邻居（1-hop neighbors）。类似的，定义令\(S_{j}\)表示与上图节点\(\mathrm{c}\)关联的局域\(\text{clusterc}\)。这个局域包含节点\(\mathrm{c}\)的所有一跳邻居（1-hop neighbors）。此时可以定义\(S_{i-j}\)，表示节点\(\mathrm{b}\)和节点\(\mathrm{c}\)之间的共享或相互的3D子结构。具体来说，是通过取两个局域\(\text{clusterb}\)和\(\text{clusterc}\)的交集来定义的，这意味着\(S_{i-j}\)包括了所有同时是节点\(\mathrm{b}\)和节点\(\mathrm{c}\)的一跳邻居的节点，以及连接这些节点的边。 2、LSE模块提取局域信息

1、局部坐标系 ClofNet的作者指出，在传统的等变几何GNN表征框架中（例如EGNN），通常只考虑了原子或粒子之间的相对位置来描述它们的相互作用，这种方法并没有考虑到外部条件，如恒定电场对粒子间相互作用的影响。在一个恒定电场中，电场对粒子的作用是一个固定方向的向量，这对所有粒子都是一样的，并且与它们的相对位置无关。因此，ClofNet提出了局域坐标系的解决方案，这个坐标系不仅能够捕捉粒子间的相对位置，还能够包含其他的物理因素，如电场方向，局域坐标系具体的定义方法如图1所示。 如图1所示，考虑了一个多体系统中的两体子系统\((x_i,x_j)\)，这个系统不随时间变化，可以被看作是一个具有两个节点和一条边的图。一般而言，两个粒子间的相互作用函数可以分解成两部分：\(U\left(x_{i},x_{j}\right):=U_{\mathrm{in}}\left(\parallel x_{i}-x_{j}\parallel\right)+U_{\mathrm{ext}}\left(x_{i},x_{j}\right)\) ，其中第一部分是相对距离\(\left|x_i-x_j\right|\)的函数（例如电静力)，第二部分描述了可能取决于相对距离和角度（例如电磁场、扭力）的外部力场的影响。因此，\(U_{\mathrm{ext}}\left(x_i,x_j\right)\)的梯度可以沿着任意方向在3D空间中发散。大多数几何GNN方法在处理这种力预测问题时，都是通过采用不变特征（例如，相对距离）作为输入，并表示沿径向的力，即\(F_{i}=k\left(x_{i}-x_{j}\right)\)，这在梯度\(\nabla U_{\mathrm{ext}}(x_i,x_j)\)不是沿着径向时是不够的。为了解决这个问题，clofNet提出了一个正交的等变局部坐标系框架（一种正交基组），用于构建和表示几何数据更完备的局部结构。具体来说，取\(x_{i}-x_{j}\)作为第一个分量/方向\(\mathrm{a}\)，然后\(x_i\times x_j\)作为第二方向\(\mathrm{b}\)。最后，前两个方向的叉积被作为第三方向\(\mathrm{c}\)。这三个向量\(\mathrm{a}\),\(\mathrm{b}\)和\(\mathrm{c}\) 定义了一个局部坐标系，由于叉乘的性质，\(\mathrm{b}\)垂直于\(\mathrm{a}\)，\(\mathrm{c}\)垂直于\(\mathrm{a}\)和\(\mathrm{b}\) 。换句话说，这个坐标系具有正交性。 2、clofNet模型总体架构 clofNet模型处理数据的流程可以分为中心化（Centralization）、局部完备框架（Complete Frame）、标量化（Scalarize）、消息传递模块（GMP）、向量化（Vectorize）和迭代更新六个步骤，如图2所示。 针对输入数据，模型首先将每个点的位置进行中心化处理。这通常意味着会从每个位置向量中减去所有位置向量的平均值，以确保模型对平移保持不变。这是因为通过减去所有点位置向量的平均值，实际上是在重新定位整个系统的中心（质心）到原点（坐标系的中心）的距离。这样，模型就不会将任何特定的位置作为参考点，因此无论系统在空间中如何平移，模型的输出都将保持不变。 局部完备框架\(\mathcal{F}_{ij}\)就是上一小节解释的局部正交坐标系。具体来说，令\(a_{ij}^{t}=\frac{x_{i}(t)-x_{j}(t)}{\begin{Vmatrix}x_{i}(t)-x_{j}(t)\end{Vmatrix}}\)，则可以定义\(b_{ij}^{t}=\frac{x_{i}(t)\times x_{j}(t)}{\left|x_{i}(t)\times x_{j}(t)\right|}\)和\(c_{ij}^t=a_{ij}^t\times b_{ij}^t\)。这三个相互正交的基组可以构建一个\(SO(3)\)-等变框架\(\mathcal{F}{ij}:\mathrm{EquiFrame}\left(x_{i},x_{j}\right)=\left(a_{ij}^{t},b_{ij}^{t},c_{ij}^{t}\right)\)。实际操作中，我们添加一个小常数\(\epsilon\)到归一化因子中，以防\(x_{i}\)和\(x_{j}\)发生重合。 基于上述的局部完备框架\(\mathcal{F}_{ij}\)，可以将任意几何向量转换为\(SO(3)\)不变的标量值。具体方法是将几何向量投影到\(\mathcal{F}_{ij}\)的基组上，通过内积获得相应的系数，这些系数是不变标量，表示为\(t_{ij}=\left(x_{i}\cdot a_{ij}^{t},x_{i}\cdot b_{ij}^{t},x_{i}\cdot

1、Geometric Vector Perceptron GVP-GNN包含标量和向量两个处理通道，如图1所示。向量通道处理向量特征\(\text{V}\)，这些特征是三维空间中的向量，通常代表方向性数据。\(\text{V}\)乘以权重矩阵\(W_{\nu h}\)和\(W_{\nu\mu}\)，可以分别得到两个新的向量集合 \(V_{h}\)和\(V_{\mu}\)。接着，这些向量使用L2范数进行归一化，其中\(V_{h}\)归一化后的结果与标量特征\(\text{s}\)进行拼接参与后续标量信息的更新；\(V_{\mu}\)归一化后的结果经过激活函数\(\sigma^{+}\)的处理得到一个非负的缩放因子\(\sigma^+(V_\mu)\)。激活函数\(\sigma^{+}\)可以将其视为一种修改版的ReLU函数，专门被应用于向量\(V_{\mu}\)的L2范数，得到一个非负的缩放因子，这个缩放因子起到一种门控函数的作用。具体来说，激活函数\(\sigma^{+}\)对于任何负输入和介于0与𝜖之间的输入输出一个小的正常数𝜖。对于大于𝜖的正输入，输出等于输入值。公式表示为： \(\sigma^+(x)=\max(\epsilon,x)\)                           

1.PAINN的向量信息的引入 PAINN（Polarizable Atom Interaction Neural Networks）可极化原子相互作用神经网络，通过考虑原子间的可极化相互作用来预测分子的性质。这种模型的开发旨在克服传统图神经网络在化学建模中的一些局限性，尤其是在描述电荷转移和极化效应方面。PAINN 的伟大在于，它是第一个将等变模型调参到超越不变模型的。 PAINN在输入数据的Embedding阶段不仅使用标量形式，还采用了向量形式。这种方法的核心思想是通过更丰富的表示来捕捉分子内部的复杂相互作用，这是传统的基于标量的方法难以实现的。例如，在化学中，分子的属性通常被描述为旋转不变的标量，例如，分子的总电荷。然而，有些属性是仅用标量表示不了的，比如一个分子的电荷分布情况，需要从单极（电荷q ）、偶极（ μ ）、到四极矩（Q ）以及更高阶的项进行多极展开来量化，公式表示如下： \(n(r)=q+\mu^\top r+r^\top Qr+…\)           

GNN经典工作推荐 本资源汇总了图神经网络（GNN）领域的经典论文和工作，涵盖从基础模型到高级应用的广泛内容。 参考： GNN: graph neural network Contributed by Jie Zhou, Ganqu Cui, Zhengyan Zhang and Yushi Bai.   文档按照以下章节组织：

EGNN（Equivariant Graph Neural Network）是一种经典的具有保持等变性（Equivariance）的图神经网络。这意味着如果输入数据通过某种变换（如旋转、翻转等），网络的输出也会以相同的方式变换，从而保证输出与输入在几何上是一致的。这一特性使得EGNN在处理几何数据和物理系统模拟中表现出优异的能力。 1.EGNN等变性的引入方式 在EGNN这篇工作中，首先对GNNs的框架进行了公式化的定义。具体来说其框架分成三部分：边特征的定义（Edge）、边特征的聚合（Agg）和节点特征的更新（Node）。 对于朴素的GNN模型而言，边特征（Edge）的公式可以定义为\(m_{ij} = \phi_{e}\left( h_{i}^{l}, h_{j}^{l}, a_{ij} \right)\)，网络会为每对相连的节点（ \(\mathrm{i}\) 和 \(\mathrm{j}\) ）计算一个消息向量\(m_{ij}\) 。这个计算是通过一个特定的函数（一般是神经网络层的映射）\(\phi_{e}\)完成的，该函数取决于两个节点的特征向量\(\boldsymbol{h}_i^l\) 和\(\boldsymbol{h}_j^l\) ，以及它们之间的边特征\(a_{ij}\)