AI数学基础

Deep Learning Math 量子力学（Quantum mechanics） 量子力学是研究微观物理世界中粒子行为的科学，尤其是在原子和亚原子尺度上。学习几何深度学习之前，了解量子力学中球谐函数和径向模型的概念是有其重要性的，特别是当研究或应用需要处理三维数据或进行复杂的空间分析时。 球谐函数提供了一种有效的方法来表示球面上的函数，这在处理三维几何结构，如建模天体，原子，分子等球形结构时非常有用。通过球谐函数，可以在球面上展开复杂的形状和模式，为深度学习模型提供一种强大的方式来捕捉和学习这些形状的特征。另一方面，在处理三维空间数据时，旋转不变性是一个关键问题。球谐函数具有天然的旋转不变性特性，这意味着它们可以帮助构建对旋转不敏感的模型，提高模型泛化能力。 径向模型对于描述空间中点与点之间的关系非常有效。在几何深度学习中，建模物体内部或不同物体之间的空间关系是很重要的。径向基函数能够捕捉这些复杂的空间模式，并在诸如分子动力学模拟、蛋白质结构预测等领域发挥作用。更重要的是，几何深度学习经常需要在不同的尺度上分析数据。径向模型可以提供一个自然的框架来实现这一点，因为它们可以在不同的尺度上调整，从而允许模型同时学习局部和全局特征。这对于理解和处理复杂的三维结构特别有价值。 Agenda 量子力学简介 对称性(Symmetry) 不变性(Invariance) 等变性(Equivariance) S0(3) Group 群的表示(Representation of Groups) 量子力学（Quantum mechanics） […]

Deep Learning Math 群论（group Theory） 在学习几何深度学习之前，具备群论的基础知识是非常重要的，原因在于几何深度学习处理的数据和问题往往涉及到复杂的空间变换和对称性，例如，分子结构在旋转或镜像反射后可能保持不变，三维物体的形状在不同视角下具有旋转对称性。识别和利用这些对称性对于理解数据的本质特征至关重要。而群论恰恰提供了一种强大的数学工具来描述和理解这些变换和对称性。通过使用群论的概念设计的深度学习模型能够更好地理解和利用数据的内在对称性，从而提高模型在未见数据上的泛化能力。对于变换不变性和等变性的理解有助于构建在面对数据变换时依然稳定表现的模型，这对于许多实际应用至关重要。 Agenda 群的定义(Definition of Group) 对称性(Symmetry) 不变性(Invariance) 等变性(Equivariance) S0(3) Group 群的表示(Representation of Groups) 群的定义(Definition of

Deep Learning Math 图论（graph Theory） 图论在深度学习中用于处理和分析结构化数据。图的表示方式（邻接矩阵和邻接列表）使得我们能够有效地编码复杂关系和连接信息。图的全局属性，如连通性和最短路径，帮助理解图的整体结构，优化模型中的路径规划和连通性分析。 节点的中心性指标（度中心性、特征向量中心性等）用于识别图中关键节点，提高图神经网络（GNN）模型的性能。图的向量化方法（节点和边的嵌入）将图的结构信息转化为可处理的向量形式，使得图数据能够被深度学习模型高效利用。这些技术在社交网络分析、推荐系统和分子结构预测等应用中发挥了重要作用。 Agenda 图的表示(Graph Representation) 邻接矩阵(Adjacency Matrix) 邻接列表(Adjacency List) 图的全局属性(Global Attributes) 连通性(Connectivity) 直径与最短路径(Diameter and Shortest

Deep Learning Math 信息论（Information Theory） 信息论在深度学习中至关重要。信息量和熵度量数据的不确定性和信息量。相对熵（Kullback-Leibler 散度）和交叉熵用于衡量概率分布的差异，交叉熵常用于分类任务中的损失函数。互信息则用于度量两个变量间的共享信息量，帮助理解变量依赖性，常用于特征选择。 Jensen 不等式、Chebyshev 不等式和 Pinsker 不等式在信息论中用于估计和界定概率分布的性质。通过这些工具，深度学习能够优化模型性能，提升预测准确性。 Agenda 信息量和熵 信息量的定义 熵的定义与性质 联合熵与条件熵 相对熵（Kullback-Leibler 散度） 交叉熵

Deep Learning Math 概率与统计（Probability and Statistics） 概率论和统计学在深度学习中至关重要。概率论为模型的不确定性和预测提供理论基础。数据位置和数据散布的概念帮助我们理解和描述数据的中心趋势和变异性。图形表示技术，如直方图和散点图，用于数据的可视化和探索。离散型概率分布和连续型概率分布则用于描述不同类型的数据和其分布模式。 在统计学中，点估计和区间估计用于推断数据的参数，从而帮助我们理解模型的预测准确性和置信区间。假设性检验用于评估模型假设的有效性和显著性，确保结果的可靠性。相关性分析则用于发现变量之间的关系和依赖性，从而帮助我们优化模型和提升性能。通过概率论和统计学工具，深度学习能够更好地处理数据的不确定性、进行模型评估和优化，提升预测的准确性和可靠性。 Agenda 概率论(Probability Theory) 数据位置 数据散布 图形表示 离散型概率分布 连续型概率分布 统计学(Statistics) 点估计 蒙特卡洛采样 区间估计

Deep Learning Math 线性代数（Linear Algebra Tutorial） 线性代数在深度学习中占据核心地位。线性方程组和增广矩阵用于描述和解决系统中的多变量关系。向量操作，如向量数乘、加法和线性组合，构成了深度学习中数据和权重的基本表示。向量空间和线性相关/无关的概念帮助我们理解数据的结构和维度。点积和外积在计算相似度和生成新向量时非常重要，而正交与基组则用于简化计算和减少维度。 矩阵运算，如矩阵乘法、哈达玛积和克罗内克积，是深度学习中张量操作的基础。初等矩阵和可逆矩阵的概念用于优化和求解模型参数。行列式和矩阵的秩帮助确定系统的解和矩阵的属性，而矩阵的特征值与特征向量则用于理解数据的变换和降维。通过这些线性代数工具，深度学习模型能够高效处理和表示大量数据，实现复杂计算和模型优化。 Agenda 线性方程组(Linear Equations) 增广矩阵 向量（Vector） 向量数乘 向量加法 向量线性组合 向量空间 线性相关/无关 点积/内积 外积