pytorch零基础(PyTorch常用代码段整理合集)
点击上方,选择星标或置顶,每天给你送干,接下来我们就来聊聊关于pytorch零基础?以下内容大家不妨参考一二希望能帮到您!
pytorch零基础
点击上方,选择星标或置顶,每天给你送干!
阅读大概需要12分钟
跟随小博主,每天进步一丢丢
本文代码基于 PyTorch 1.0 版本,需要用到以下包
基础配置
检查 PyTorch 版本
更新 PyTorch
PyTorch 将被安装在 anaconda3/lib/python3.7/site-packages/torch/目录下。
固定随机种子
指定程序运行在特定 GPU 卡上
在命令行指定环境变量
或在代码中指定
判断是否有 CUDA 支持
设置为 cuDNN benchmark 模式
Benchmark 模式会提升计算速度,但是由于计算中有随机性,每次网络前馈结果略有差异。
如果想要避免这种结果波动,设置
清除 GPU 存储
有时 Control-C 中止运行后 GPU 存储没有及时释放,需要手动清空。在 PyTorch 内部可以
或在命令行可以先使用 ps 找到程序的 PID,再使用 kill 结束该进程
建议有参数的层和汇合(pooling)层使用 torch.nn 模块定义,激活函数直接使用 torch.nn.functional。torch.nn 模块和 torch.nn.functional 的区别在于,torch.nn 模块在计算时底层调用了 torch.nn.functional,但 torch.nn 模块包括该层参数,还可以应对训练和测试两种网络状态。使用 torch.nn.functional 时要注意网络状态,如
- model(x) 前用 model.train() 和 model.eval() 切换网络状态。
- 不需要计算梯度的代码块用 with torch.no_grad() 包含起来。model.eval() 和 torch.no_grad() 的区别在于,model.eval() 是将网络切换为测试状态,例如 BN 和随机失活(dropout)在训练和测试阶段使用不同的计算方法。torch.no_grad() 是关闭 PyTorch 张量的自动求导机制,以减少存储使用和加速计算,得到的结果无法进行 loss.backward()。
- torch.nn.CrossEntropyLoss 的输入不需要经过 Softmax。torch.nn.CrossEntropyLoss 等价于 torch.nn.functional.log_softmax torch.nn.NLLLoss。
- loss.backward() 前用 optimizer.zero_grad() 清除累积梯度。optimizer.zero_grad() 和 model.zero_grad() 效果一样。
PyTorch 性能与调试
- torch.utils.data.DataLoader 中尽量设置 pin_memory=True,对特别小的数据集如 MNIST 设置 pin_memory=False 反而更快一些。num_workers 的设置需要在实验中找到最快的取值。
- 用 del 及时删除不用的中间变量,节约 GPU 存储。
- 使用 inplace 操作可节约 GPU 存储,如
- 减少 CPU 和 GPU 之间的数据传输。例如如果你想知道一个 epoch 中每个 mini-batch 的 loss 和准确率,先将它们累积在 GPU 中等一个 epoch 结束之后一起传输回 CPU 会比每个 mini-batch 都进行一次 GPU 到 CPU 的传输更快。
- 使用半精度浮点数 half() 会有一定的速度提升,具体效率依赖于 GPU 型号。需要小心数值精度过低带来的稳定性问题。
- 时常使用 assert tensor.size() == (N, D, H, W) 作为调试手段,确保张量维度和你设想中一致。
- 除了标记 y 外,尽量少使用一维张量,使用 n*1 的二维张量代替,可以避免一些意想不到的一维张量计算结果。
- 统计代码各部分耗时
或者在命令行运行
致谢
感谢 @些许流年和@El tnoto的勘误。由于作者才疏学浅,更兼时间和精力所限,代码中错误之处在所难免,敬请读者批评指正。
参考资料
,
- PyTorch 官方代码:pytorch/examples (https://link.zhihu.com/?target=https://github.com/pytorch/examples)
- PyTorch 论坛:PyTorch Forums (https://link.zhihu.com/?target=https://discuss.pytorch.org/latest?order=views)
- PyTorch 文档:http://pytorch.org/docs/stable/index.html (https://link.zhihu.com/?target=http://pytorch.org/docs/stable/index.html)
- 其他基于 PyTorch 的公开实现代码,无法一一列举
免责声明:本文仅代表文章作者的个人观点,与本站无关。其原创性、真实性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容文字的真实性、完整性和原创性本站不作任何保证或承诺,请读者仅作参考,并自行核实相关内容。文章投诉邮箱:anhduc.ph@yahoo.com