PyTorch 完整参考#

本附录提供 PyTorch 核心 API 速查、优化器与损失函数数学公式、以及官方文档索引，便于快速查阅。

一、torch 核心 API 速查#

1.1 张量创建#

1.2 张量操作#

1.3 数学运算#

1.4 设备与类型#

二、优化器算法原理#

2.1 SGD（随机梯度下降）#

基础形式：

其中 $g_t = \nabla_\theta L(\theta_t)$ 为梯度，$\eta$ 为学习率。

带动量（Momentum）：

Nesterov 动量：

2.2 Adam（自适应矩估计）#

更新公式：

• $m_t$ ：一阶矩估计（梯度均值）
• $v_t$ ：二阶矩估计（梯度平方均值）
• $\beta_1=0.9, \beta_2=0.999$ ：衰减率
• $\epsilon=10^{-8}$ ：数值稳定性

2.3 AdamW#

与 Adam 类似，但 权重衰减（weight decay） 与梯度更新解耦：

其中 $\lambda$ 为 weight_decay，直接作用于参数而非梯度。

2.4 RMSprop#

2.5 学习率调度器#

三、损失函数数学公式#

3.1 分类损失#

CrossEntropyLoss（含 Softmax）：

其中 $p_i = \frac{\exp(z_i)}{\sum_j \exp(z_j)}$ 。

BCEWithLogitsLoss（二分类，数值稳定）：

NLLLoss（需配合 LogSoftmax）：

3.2 回归损失#

MSELoss：

L1Loss：

SmoothL1Loss（Huber）：

3.3 其他损失#

KLDivLoss：

TripletMarginLoss：

四、torch.nn 模块速查#

4.1 卷积与池化#

4.2 归一化#

4.3 初始化函数（torch.nn.init）#

五、Autograd 核心机制#

5.1 计算图#

• 前向：执行操作时构建 DAG，叶子为输入，根为输出
• 反向：从根到叶遍历，按链式法则计算梯度
• 动态图：每次迭代重新构建，支持 Python 控制流

5.2 关键 API#

六、官方文档索引#

七、常用代码片段#

7.1 训练循环模板#

model.train()
for data, target in dataloader:
    data, target = data.to(device), target.to(device)
    optimizer.zero_grad()
    output = model(data)
    loss = criterion(output, target)
    loss.backward()
    torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0)
    optimizer.step()

7.2 推理模板#

model.eval()
with torch.no_grad():
    for data in dataloader:
        output = model(data.to(device))
        # 后处理

7.3 混合精度训练#

from torch.cuda.amp import autocast, GradScaler
scaler = GradScaler()

with autocast():
    output = model(data)
    loss = criterion(output, target)
scaler.scale(loss).backward()
scaler.step(optimizer)
scaler.update()