书: https://pan.baidu.com/s/1LWWovU7IScpiddLrDhjl1w?pwd=pc5n
笔记如下：
- PyTorch简介：介绍PyTorch的特点、安装方法及基本张量操作。
- 张量基础：讲解Tensor的创建、运算、广播机制及与NumPy的互操作。
- 自动微分：使用
autograd模块实现自动求导，理解计算图和梯度传播。 - 神经网络基础：通过
nn.Module构建全连接网络，介绍前向传播与反向传播。 - 数据加载与预处理：利用
Dataset和DataLoader实现高效数据批处理与增强。 - 卷积神经网络（CNN）：实现LeNet、ResNet等经典模型，应用于图像分类任务。
- 循环神经网络（RNN）：介绍LSTM、GRU的结构及在时序数据（如文本、股价）中的应用。
- Transformer模型：实现自注意力机制，构建简易Transformer进行序列建模。
- 模型训练技巧：学习优化器（SGD、Adam）、学习率调度与早停策略。
- 损失函数选择：对比交叉熵、MSE、Huber等损失函数的适用场景。
- 模型保存与加载：使用
torch.save和torch.load实现模型的持久化。 - GPU加速：配置CUDA环境，将模型与数据迁移到GPU训练。
- 分布式训练：介绍
DataParallel和DistributedDataParallel的多GPU训练方法。 - 混合精度训练：使用
amp（自动混合精度）提升训练速度并减少显存占用。 - 模型部署：通过TorchScript和ONNX将模型导出为生产环境可用格式。
- 迁移学习：微调预训练模型（如BERT、Vision Transformer）解决自定义任务。
- 生成对抗网络（GAN）：实现DCGAN生成手写数字或人脸图像。
- 强化学习基础：结合PyTorch和OpenAI Gym实现DQN算法。
- 模型解释性：使用Captum库进行特征重要性分析和可视化。
- PyTorch 2.0新特性：介绍编译优化（
torch.compile）、动态图改进等核心升级。