VFpNeRYlMszB
机器学习的训练过程中会产生各类数据，包括“标量scalar”、“图像image”、“统计图diagram”、“视频video”、“音频audio”、“文本text”、“嵌入Embedding”等等。为了更好地追踪和分析这些数据，许多可视化工具应运而生，比如之前介绍的wandb 本文介绍另一种更加常用的数据追踪工具TensorBoard，参考见Pytorch官方文档 文章目录 1.Tensorboard简介 2.快速入门 2.1运行方法 2.2常用API 3.使用TensorBoard记录PPO运行情况 4.其他 4.1TensorBoardUI 4.2常见问题 4.3与...
本文介绍PPO这个onlineRL的经典算法，并在CartPole-V0上进行测试。由于PPO是源自TPRO的，因此也会在原理部分介绍TPRO 参考：张伟楠《动手学强化学习》、王树森《深度强化学习》 完整代码下载：8_[Gym]CartPole-V0(PPO) 文章目录 1.TPRO（置信域策略优化）方法 1.1朴素策略梯度方法的问题 1.2置信域优化法 1.3TPRO公式推导 1.3.1做近似 1.3.2最大化 1.4小结 2.PPO（近端策略优化）方法 2.1PPO公式推导 2.1.1做近似 2.1.2最大化 2.2伪代码 2.3用PPO方法解决Ca...
前文并行原理简介和DDP并行实践和使用torchrun进行容错处理在简单的随机数据上演示了使用DDP并行加速训练的方法，本文考虑一个更加复杂的GPT类模型，说明如何进行DDP并行实战 MinGPT是GPT模型的一个流行的开源PyTorch复现项目，其实现简洁干净可解释，因而颇具教育意义。关于MinGPT的详细介绍可以参考minGPT代码详解（训练GPT模型执行两位数加法） 本文参考自：Pytorch官方教程 完整代码下载：wxc971231/ddp-tutorial-series 文章目录 0.项目组织 1.参数准备 2.数据准备 3.程序入口 4.定义模型 5.定义Trainer...
前文Pytorch多卡并行（1）——原理简介和DDP并行实践介绍了使用Pytorch的DDP库进行单机多卡训练的方法，本文进一步说明如何用torchrun改写前文代码，以提高模型训练的效率和容错性 torchrun是从Pytorch1.9.0开始引入的一个命令，请保证您的pytorch版本符合要求 完整代码下载：wxc971231/ddp-tutorial-series 文章目录 1.torchrun 2.使用torchrun改写DDP代码 3.调试代码 1.torchrun 在训练过程中，很容易遇到各种各样的错误，比如内存不足、网络故障、硬件故障等等。这些错误会导致训练过程...
前文PyTorch入门（2）——自动求梯度介绍过Pytorch中的自动微分机制，这是实现神经网络反向传播的基础，也是所有深度学习框架最重要的基础设施之一 梯度计算是需要占用计算资源的，而我们并不总是需要计算梯度（比如做评估时），Pytorch提供了几种方式来控制梯度计算，本文对这些方法进行梳理 参考自pytorch文档：Locallydisablinggradientcomputation 文章目录 1.回顾pytorch的自动微分机制 2.局部梯度控制 2.1通过设置`requires_grad`实现精确梯度控制 2.2三种梯度计算模式 2.2.1梯度模式(GradMod...
近年来，深度学习模型的规模越来越大，需要处理的数据也越来越多，单卡训练的显存空间和计算效率都越来越难以满足需求。因此，多卡并行训练成为了一个必要的解决方案 本文主要介绍使用Pytorch的DistributedDataParallel（DDP）库进行分布式数据并行训练的方法 完整代码下载：wxc971231/ddp-tutorial-series 文章目录 1.多卡并行简介 1.1两种并行形式 1.2Pytorch中的多卡并行 2.使用DDP进行单机多卡训练 2.1原理概述 2.2使用DDP改写单卡训练代码 1.多卡并行简介 多卡并行训练主要用于解决以下几个问题：...
标题：PointerNetworks 文章链接：PointerNetworks 参考代码（非官方）：keon/pointer-networks 发表：NIPS2015 领域：序列模型（RNNseq2seq）改进/深度学习解决组合优化问题 【本文为速览笔记，仅记录核心思想，具体细节请看原文】 摘要：我们引入了一种新的神经网络结构，用于学习一个输出序列的条件概率，其中输出序列的元素是对应于输入序列位置的离散标记。这类问题不能通过Seq2Seq模型和神经图灵机等现有方法轻松解决，因为（这些问题中）输出每一步的目标类别数量取决于输入的长度，而输入的长度是可变的。排序可变长度序列、各种组合优化...