Deep Learning Math 信息论（Information Theory） 信息论在深度学习中至关重要。信息量和熵度量数据的不确定性和信息量。相对熵（Kullback-Leibler 散度）和交叉熵用于衡量概率分布的差异，交叉熵常用于分类任务中的损失函数。互信息则用于度量两个变量间的共享信息量，帮助理解变量依赖性，常用于特征选择。 Jensen 不等式、Chebyshev 不等式和 Pinsker 不等式在信息论中用于估计和界定概率分布的性质。通过这些工具，深度学习能够优化模型性能，提升预测准确性。 Agenda 信息量和熵 信息量的定义 熵的定义与性质 联合熵与条件熵 相对熵（Kullback-Leibler 散度） 交叉熵 […]
Deep Learning Math 概率与统计（Probability and Statistics） 概率论和统计学在深度学习中至关重要。概率论为模型的不确定性和预测提供理论基础。数据位置和数据散布的概念帮助我们理解和描述数据的中心趋势和变异性。图形表示技术，如直方图和散点图，用于数据的可视化和探索。离散型概率分布和连续型概率分布则用于描述不同类型的数据和其分布模式。 在统计学中，点估计和区间估计用于推断数据的参数，从而帮助我们理解模型的预测准确性和置信区间。假设性检验用于评估模型假设的有效性和显著性，确保结果的可靠性。相关性分析则用于发现变量之间的关系和依赖性，从而帮助我们优化模型和提升性能。通过概率论和统计学工具，深度学习能够更好地处理数据的不确定性、进行模型评估和优化，提升预测的准确性和可靠性。 Agenda 概率论(Probability Theory) 数据位置 数据散布 图形表示 离散型概率分布 连续型概率分布 统计学(Statistics) 点估计 蒙特卡洛采样 区间估计
Deep Learning Math 线性代数（Linear Algebra Tutorial） 线性代数在深度学习中占据核心地位。线性方程组和增广矩阵用于描述和解决系统中的多变量关系。向量操作，如向量数乘、加法和线性组合，构成了深度学习中数据和权重的基本表示。向量空间和线性相关/无关的概念帮助我们理解数据的结构和维度。点积和外积在计算相似度和生成新向量时非常重要，而正交与基组则用于简化计算和减少维度。 矩阵运算，如矩阵乘法、哈达玛积和克罗内克积，是深度学习中张量操作的基础。初等矩阵和可逆矩阵的概念用于优化和求解模型参数。行列式和矩阵的秩帮助确定系统的解和矩阵的属性，而矩阵的特征值与特征向量则用于理解数据的变换和降维。通过这些线性代数工具，深度学习模型能够高效处理和表示大量数据，实现复杂计算和模型优化。 Agenda 线性方程组(Linear Equations) 增广矩阵 向量（Vector） 向量数乘 向量加法 向量线性组合 向量空间 线性相关/无关 点积/内积 外积
Deep Learning Math 高等数学（Advanced Mathematics） 高等数学在深度学习中起着关键作用。微积分的基础，如积分和微分，帮助我们理解模型的训练过程。通过导数和函数的单调性，我们可以判断模型的优化方向，并使用链式法则计算复杂函数的梯度。梯度下降法是深度学习优化的核心，通过计算梯度来最小化损失函数。函数的极值与鞍点、海森矩阵、以及函数的凹凸性可以帮助我们理解模型在优化过程中的行为和稳定性。此外，泰勒公式和傅里叶级数则用于函数的近似和信号处理，这在构建和优化复杂神经网络模型时尤为重要。通过这些数学工具，深度学习模型能够更有效地训练和优化，从而提高其性能和准确性。 Agenda 微积分 (Calculus) 积分 (Integration) 微分和导数 (Differentiation and Derivatives) 函数单调性(Monotonicity of Functions) 函数极值与鞍点(Extrema and
1. Introduction 本项目包含了自 AelxNet 以来经典的深度学习图像分类模型，大部分模型是基于卷积神经网络的，也有一部分是基于注意力机制的。 博客链接是对模型的介绍，会持续更新…. 在项目目录中，模型的搭建代码在classic_models文件夹中；所有的模型训练代码和推理代码都是共用的，只有模型搭建代码不同，训练代码有三个不同的版本： 最后，test.py是推理脚本，用于使用训练好的模型。dataload中是数据集加载代码；utils是封装各种功能的包，包括学习策略，训练和验证，分布式初始化，可视化等等。建议先学习掌握classic_models，train_sample.py和test.py这三部分，其他部分用到的时候再学习。 2. Dataset And Project 本项目是使用python语言基于pytorch深度学习框架编写的。 默认的数据集是花朵数据集，此数据集包含五种不同种类的花朵图像，用于训练的图像有3306张，用于验证的图像有364张。 下载完成后，记得在训练和推理代码中，将数据集加载的路径修改成自己电脑中下载存储的路径。 数据集图像展示如下： 开启模型的训练只需要在IDE中执行train_sample.py脚本即可；或者在终端执行命令行python train_sample.py 训练的log打印示例如下： 将模型用于推理只需要在IDE中执行test.py脚本即可；或者在终端执行命令行python
内容简介 本书专注于深度学习在图像识别领域的应用。不仅详细讲解了各种模型的理论知识，还为读者提供了丰富的实践操作指南。旨在为读者提供一个从基础到高级的全方位指导，涵盖2012至2023间的经典和前沿模型。 本书在第一章介绍了人工智能在计算机视觉领域的现状，第二章和第三章是编程基础章节，有基础的同学可以跳过阅读。第四章和第五章详细讲解了卷积算法和基于卷积算法具有里程碑意义的模型。第六章介绍了工业中常用的轻量级卷积模型。第七章和第八章对现阶段前沿的图像识别模型进行了讲解。 本书适合对图像识别领域感兴趣的本科生、研究生、以及图像识别从业者。对于新入门的同学，本书提供了丰富的预备知识；而对于有经验的读者，可以直接跳入高级章节。 前 言 随着技术的迅速发展，深度学习已经从一个边缘领域转变为现代技术革命的核心。在这个浪潮中，图像识别显得尤为重要，它已经渗透到我们日常生活的方方面面，从简单的面部解锁手机到高级的医疗图像分析，再到自动驾驶汽车的视觉系统。 决定写这本书的时候，笔者首先考虑到了这个领域的巨大潜力和广阔的应用前景。但更重要的是，笔者意识到当前市场上的大部分教材太过专业化，难以为初学者所接受；或者内容过于浅显，无法满足专业人员的需求。因此，笔者希望《深度学习图像识别指南》能够填补这个空白，为所有对图像识别感兴趣的读者提供一个全面而深入的指南。 这本书既包含了基础知识，为初学者铺设坚实的基础，也涵盖了高级主题，供有经验的研究者或从业者探索。我们将从图像识别的历史和发展趋势开始，然后逐步深入每一个主题，确保读者可以从中得到真正的价值。 随着深度学习技术的进步，图像识别的门槛正在逐渐降低。但这也意味着，为了在这个领域脱颖而出，我们需要更深入的知识和更强大的技能。笔者希望这本书能够成为读者学习和进步的伴侣，帮助读者走在这条充满机遇和挑战的道路上。 本书主要内容 第1章：概述了人工智能在视觉领域的现状、挑战和展望。 第2章：指导读者进行深度学习的环境配置。 第3章：介绍编程语言Python和深度学习框架PyTorch的基础知识。 第4章：深入探讨卷积神经网络及其在图像识别中的应用。 第5章：呈现了一系列卷积算法的里程碑模型，并探讨它们为何成为视觉任务的基准模型。 第6章：关注轻量级的卷积神经网络模型，及这些模型在工业部署中具有重要价值。 第7章：深入探索起源于NLP领域的Transformer模型在图像识别中的应用，及其如何挑战了卷积在计算机视觉领域的主导地位。 第8章：Transformer与卷积算法的碰撞引起了CV领域专家对算法的重新思考。他们发现基于原始神经网络模型（MLP）同样可以达到不错的图像识别效果。第八章就介绍了这些基于原始神经网络算法的图像识别模型，并对之前的算法进行对比和评价。 阅读建议
QQ讨论群 欢迎加入图神经网络与深度学习讨论群！这是一个致力于探讨和交流图神经网络（GNN）、深度学习、数学及其相关领域的专业社区。在这里，你可以： 无论你是初学者还是专家，学生还是从业者，都欢迎你加入我们，一起学习、分享和进步！ 让我们共同打造一个开放、友好和高效的学习与交流平台！