未分类

Introduction 欢迎来到 DL-Optimization 仓库！本项目全面探索了深度学习的数学基础、算法以及优化技术，这些构成了现代深度学习的核心。博客链接是对内容的介绍，会持续更新…. 项目代码链接：GitHub – Arwin-Yu/DL-Optimization 本仓库分为三个主要部分： 1. 数学基础 这些笔记本涵盖了深度学习和机器学习所需的一些基础和进阶的数学概念，掌握这些内容能帮助你深入理解深度学习模型的工作原理，并能在实际应用中进行更加高效的建模与优化。 01_Advanced_Mathematics.ipynb：深度学习中使用的高级数学概念。 02_Linear_Algebra.ipynb：线性代数基础，包括矩阵、向量和特征值。 03_Probability_Theory.ipynb：深度学习模型中必需的概率理论概念。 04_Information_Theory.ipynb：信息论的关键原理，如熵和互信息。 05_Graph_Theory.ipynb：图结构及其在机器学习中的应用。 06_Group_Theory.ipynb：群论概念及其在几何深度学习中的相关性。 07_Quantum_Mechanics.ipynb：量子力学原理及其与深度学习的联系。 2. 深度学习算法与框架

项目背景 随着人工智能和机器学习领域的迅速发展，强化学习作为其中的核心分支，在解决复杂决策问题方面显示出巨大潜力。尤其在游戏领域，不同类型的强化学习算法已被证实能够有效地处理和解决多种挑战。在本项目中，我们将探讨三种主要的强化学习模型——基于价值的Deep Q-Network（DQN）、基于策略的REINFORCE算法以及演员-评论家方法——在经典游戏Pong中的应用和表现。Pong游戏以其简单规则和直观环境，成为评估和比较这些算法的理想平台。 项目目标 本项目旨在通过实现并比较三种不同的强化学习模型来探索Pong游戏的AI实现。具体目标如下： 项目应用 通过本项目，我们期望实现以下应用： 数据集描述 本项目使用的数据集基于经典的Pong游戏，包括以下关键特征和元素，这些将用于训练和评估DQN模型，其他两种强化学习算法也大多采用以下特征，不同的部分会在代码部分讲解： 项目实现 本项目通过以下关键步骤实现DQN算法： REINFORCE的区别在于，在动作选择的时候，REINFORCE基于策略网络生成的action_probabilities （在当前状态下采取每个动作的概率）采取动作。 而AC采取动作时基于演员网络生成的action_probabilities 选择动作action_index；评论家网络则负责评估当前状态state的价值，即state_val。这个价值用于评估当前策略的好坏。 模型选择 在本项目中，我们将使用三种不同的强化学习模型：Deep Q-Network（DQN）、REINFORCE以及演员-评论家模型。以下是对每种模型的详细介绍和所需的依赖库。 Deep Q-Network（DQN）（基于价值的强化学习）：

项目背景 心脏疾病一直是全球健康的主要挑战之一，它不仅影响着数百万人的生活质量，而且还是世界范围内主要的死因之一。近年来，随着数据科学和机器学习的迅猛发展，我们有了新的工具和方法来预测和诊断心脏疾病。在这个项目中，我们利用这些先进技术，尝试通过分析心电图（ECG）数据来识别心律失常，从而实现早期诊断和干预。 项目目标 本项目的主要目标是开发一个能够准确识别和分类心律失常的机器学习模型。通过对心电图数据的深入分析，我们希望能够识别出潜在的心脏问题，特别是冠状动脉疾病和Rjgbt束支传导阻滞这两种最常见的心律失常类型。此外，我们的目标还包括提高医疗专业人员的诊断效率和准确性，从而改善患者的治疗结果。 项目应用 该项目的潜在应用范围广泛，从临床诊断到远程医疗监控都可能受益。机器学习模型的实施可以帮助医生快速准确地诊断心律失常，特别是在资源有限或需要快速决策的情况下。此外，该模型还可以集成到可穿戴设备和智能手机应用中，为用户提供实时的心脏健康监控。 数据集描述 我们的数据集由452个独特的实例组成，这些实例分布在16个不同的类别中。其中，245个实例被标记为“正常”，其余的则涉及12种不同类型的心律失常。在所有这些心律失常类型中，最具代表性的是“冠状动脉疾病”和“Rjgbt束支传导阻滞”。 数据集包含279个特征，这些特征不仅涵盖了患者的基本信息，如年龄、性别、体重和身高，还包括了详细的心电图信息。这种高维度的特征集提供了丰富的信息，有助于我们更深入地理解心律失常的复杂性。 模型选择 在本项目中，我们选择了多种机器学习模型来解决心律失常的识别和分类问题。以下是我们使用的六种主要模型： 这些模型的选择是基于数据集的特性和心律失常识别的特定需求。我们的目标是通过比较这些不同模型的性能，找到最优的解决方案，以提高诊断的准确性和效率。 项目方法 数据探索（EDA） 项目的第一步是进行详尽的探索性数据分析（EDA）。这个阶段关键在于理解数据集的结构、分布及其潜在的问题。我们深入分析了特征间的相关性、各类别样本的分布、以及可能的数据质量问题。这有助于我们在模型训练之前，识别并解决可能影响模型性能的问题。 数据平衡 心律失常数据集中的类别分布不均衡，这可能导致模型对于某些类别过度拟合。为了解决这个问题，我们采用了几种数据采样技术，如过采样少数类别和欠采样多数类别，以平衡数据集。这样做可以提高模型对不常见心律失常类型的识别能力。 数据降维 考虑到数据集有279个特征，存在较高的维度，我们采用了主成分分析（PCA）来进行数据降维。PCA帮助我们减少数据中的冗余特征，同时保留最重要的信息。这不仅减少了计算复杂性，还提高了模型的泛化能力。 模型训练

该项目通过利用图神经网络来解析和预测化学分子结构对HIV的活性，展示了深度学习在药物发现领域的应用潜力。项目的核心是如何从分子结构中有效提取特征，并利用这些特征进行准确的活性预测。通过解决数据不平衡问题，以及优化模型结构和参数，该项目旨在提高预测HIV活性化合物的准确性。以下是对项目各部分的更加详细的介绍： 数据集介绍 该数据集源自药物治疗计划（Drug Treatment Program, DTP）的抗HIV病毒筛选项目，涉及超过40,000种化合物对HIV复制能力的测试。这些化合物的筛选结果被分为三个类别： 为了简化分析，项目将后两类（CA和CM）合并，形成一个二分类问题：无活性（CI）与有活性（CA和CM）。原始数据包含SMILES格式的分子结构，以及与这些结构相关的活性标签。 训练集示例如下： 项目结构和文件 3.1 config.py 该文件包含模型构建和训练所需的各种超参数。项目中采用了基于贝叶斯的超参数优化策略，通过“mango”库在给定的参数空间内搜索最优的参数组合。 3.2 dataset.py 这个脚本基于torch_geometric包扩展了Dataset类。通过使用rdkit库的Chem包的Chem.MolFromSmiles函数计算分子的性质，这些性质被作为特征输入到图神经网络中进行计算。 3.3 dataset_featurer.py 这是dataset.py的简化版，其功能是用deepchem库中的feat.MolGraphConvFeaturizer函数来获取分子特征，替代了dataset.py中的相关功能。 3.4 model.py

困倦检测系统 在此 Python 项目中，我们将使用 OpenCV 从网络摄像头收集图像并将其输入深度学习模型，该模型将分类人的眼睛是“睁开”还是“闭着”，来决定是否困倦，如果判断困倦则调用警铃进行报警行为。我们将在这个 Python 项目中使用的方法如下： 步骤 1 –将图像作为来自相机的输入。 步骤 2 –检测图像中的人脸并创建感兴趣区域 (ROI)。 步骤 3 –从 ROI 中检测眼睛并将其输入分类器。

1. Introduction 本项目包含了自 AelxNet 以来经典的深度学习图像分类模型，大部分模型是基于卷积神经网络的，也有一部分是基于注意力机制的。 博客链接是对模型的介绍，会持续更新…. 在项目目录中，模型的搭建代码在classic_models文件夹中；所有的模型训练代码和推理代码都是共用的，只有模型搭建代码不同，训练代码有三个不同的版本： 最后，test.py是推理脚本，用于使用训练好的模型。dataload中是数据集加载代码；utils是封装各种功能的包，包括学习策略，训练和验证，分布式初始化，可视化等等。建议先学习掌握classic_models，train_sample.py和test.py这三部分，其他部分用到的时候再学习。 2. Dataset And Project 本项目是使用python语言基于pytorch深度学习框架编写的。 默认的数据集是花朵数据集，此数据集包含五种不同种类的花朵图像，用于训练的图像有3306张，用于验证的图像有364张。 下载完成后，记得在训练和推理代码中，将数据集加载的路径修改成自己电脑中下载存储的路径。 数据集图像展示如下： 开启模型的训练只需要在IDE中执行train_sample.py脚本即可；或者在终端执行命令行python train_sample.py 训练的log打印示例如下： 将模型用于推理只需要在IDE中执行test.py脚本即可；或者在终端执行命令行python