深度学习 on 知识仓库

概述

Mon, 01 Jan 0001 00:00:00 +0000

深度学习基础学习文档#

目录#

深度学习概述
表征学习
学习方法
神经网络基础
三大支柱架构
深度学习应用领域
其他领域重要常识
线性回归
损失函数
梯度下降
代码实现示例
分类问题
One-Hot编码
Softmax函数
交叉熵损失函数
学习建议与资源

深度学习概述#

什么是深度学习？#

深度学习（Deep Learning）是机器学习的一个子领域，它使用多层神经网络来模拟人脑的学习过程。深度学习通过构建具有多个隐藏层的神经网络，能够自动从数据中学习复杂的特征表示。

核心特点#

自动特征提取：无需人工设计特征，模型自动学习
端到端学习：从原始输入直接到最终输出
强大的表达能力：能够学习高度复杂的非线性关系

表征学习#

概念解释#

表征学习（Representation Learning） 是深度学习的核心思想。它指的是让算法自动从数据中学习有用的特征表示，而不是依赖人工设计的特征。

传统方法 vs 表征学习#

传统方法（非表征学习）#

以猫的图片分类为例：

人工特征设计：
- 边缘检测：识别猫的轮廓
- 焦点检测：识别猫的眼睛、鼻子等关键部位
- 颜色特征：提取猫的颜色信息
- 形状特征：分析猫的整体形状
局限性：
- 上限低：人工设计的特征难以捕捉所有重要信息
- 易误判：特征设计不当会导致分类错误
- 需要专业知识：需要领域专家设计特征

表征学习方法#

自动特征学习：
- 将原始数据（如图片像素）直接输入神经网络
- 网络自动学习从低级特征（边缘、纹理）到高级特征（形状、语义）的层次化表示
- 整个过程是"黑箱"，但效果通常更好
优势：
- 自动发现数据中的模式
- 能够学习复杂的非线性关系
- 减少人工干预，提高泛化能力

示例对比#

传统方法流程：
原始图片 → [人工特征提取] → 特征向量 → 分类器 → 结果

表征学习方法流程：
原始图片 → [神经网络自动学习特征] → 特征表示 → 分类器 → 结果

学习方法#

监督学习（Supervised Learning）#

定义：通过训练集中图片对应的标签（label）来训练网络，使网络能够预测标签。

神经网络基础

Mon, 01 Jan 0001 00:00:00 +0000

单层感知机#

定义#

单层感知机（Single-Layer Perceptron） 是最简单的神经网络，由Frank Rosenblatt在1957年提出。

结构#

数学表示#

对于输入向量 $\mathbf{x} = [x_1, x_2, \ldots, x_n]$ ：

$$ y = f(w_1 x_1 + w_2 x_2 + \cdots + w_n x_n + b) $$ $$ y = f(\mathbf{w} \cdot \mathbf{x} + b) $$

其中：

$\mathbf{w} = [w_1, w_2, \ldots, w_n]$ ：权重向量
$b$ ：偏置（bias）
$f$ ：激活函数

仿生学根源#

单层感知机模拟了生物神经元的工作方式：

输入：树突接收信号
权重：突触强度
求和：细胞体整合信号
激活：轴突输出信号

局限性#

单层感知机只能解决线性可分 问题，无法处理异或（XOR）等非线性问题。

多层感知机#

定义#

多层感知机（Multi-Layer Perceptron, MLP） 通过堆叠多个隐藏层，可以学习非线性关系。

结构#

输入层 → 隐藏层1 → 隐藏层2 → ... → 隐藏层N → 输出层

为什么需要多层？#

万能逼近定理（Universal Approximation Theorem）：

反向传播算法

Mon, 01 Jan 0001 00:00:00 +0000

算法概述#

什么是反向传播？#

反向传播（Backpropagation） 是训练神经网络的核心算法，用于高效计算损失函数对网络参数的梯度。

为什么需要反向传播？#

问题：神经网络有大量参数，如何高效计算梯度？

解决方案：

前向传播：计算预测值
反向传播：从输出层向输入层传播误差，计算梯度

核心思想#

前向传播：计算每层的输出
计算损失：比较预测值和真实值
反向传播：从输出层开始，逐层计算梯度
更新参数：使用梯度下降更新参数

链式法则#

数学基础#

链式法则（Chain Rule） 是反向传播的数学基础。

对于复合函数 $y = f(g(x))$ ：

$$ \frac{dy}{dx} = \frac{dy}{dg} \cdot \frac{dg}{dx} $$

多变量链式法则#

对于 $z = f(x, y)$ ，其中 $x = g(t)$ , $y = h(t)$ ：

$$ \frac{dz}{dt} = \frac{\partial z}{\partial x} \cdot \frac{dx}{dt} + \frac{\partial z}{\partial y} \cdot \frac{dy}{dt} $$

神经网络中的应用#

在神经网络中，损失函数是参数的复合函数：

$$ L = L(y, \hat{y}) = L(y, f_N(\ldots f_2(f_1(x, w_1, b_1), w_2, b_2) \ldots, w_N, b_N)) $$

使用链式法则计算梯度：

激活函数

Mon, 01 Jan 0001 00:00:00 +0000

激活函数的作用#

为什么需要激活函数？#

问题：没有激活函数的神经网络只是线性变换的组合：

$$ y = W_3(W_2(W_1 x + b_1) + b_2) + b_3 = W'x + b' $$

仍然是线性函数！

解决方案：在每层之间添加非线性激活函数：

$$ y = f_3(W_3 \cdot f_2(W_2 \cdot f_1(W_1 x + b_1) + b_2) + b_3) $$

激活函数的作用#

引入非线性：使网络能够学习复杂模式
决定输出范围：限制输出值域
影响梯度流动：影响反向传播的梯度

常见激活函数#

1. Sigmoid函数#

公式#

$$ \sigma(x) = \frac{1}{1 + e^{-x}} $$

特性#

输出范围：$(0, 1)$
导数：$\sigma'(x) = \sigma(x)(1 - \sigma(x))$
优点：
- 输出在0-1之间，适合概率
- 平滑可微
缺点：
- 梯度消失：在饱和区域梯度接近0
- 非零中心：输出均值不为0，影响梯度
- 计算较慢：涉及指数运算

图像#

 1 | ╱╲
 | ╱ ╲
 0.5 | ╱ ╲
 | ╱ ╲
 0 |_╱________╲___
 -5 0 5

2. Tanh函数#

公式#

$$ \tanh(x) = \frac{e^x - e^{-x}}{e^x + e^{-x}} $$

特性#

输出范围：$(-1, 1)$
导数：$\tanh'(x) = 1 - \tanh^2(x)$
优点：
- 零中心：输出均值约为0
- 比Sigmoid梯度更大
缺点：
- 仍有梯度消失问题
- 计算较慢

与Sigmoid的关系#

$$ \tanh(x) = 2\sigma(2x) - 1 $$

3. ReLU函数（Rectified Linear Unit）#

公式#

$$ \text{ReLU}(x) = \max(0, x) = \begin{cases} x & \text{if } x > 0 \\ 0 & \text{if } x \leq 0 \end{cases} $$

特性#

输出范围：$[0, +\infty)$
导数：$\text{ReLU}'(x) = \begin{cases} 1 & \text{if } x > 0 \\ 0 & \text{if } x \leq 0 \end{cases}$
优点：
- 计算快速：只需比较和选择
- 缓解梯度消失：正区域梯度为1
- 稀疏激活：约50%神经元激活
缺点：
- 死亡ReLU：负区域梯度为0，神经元可能"死亡"
- 非零中心：输出均值大于0

图像#

 | ╱
 | ╱
 | ╱
 | ╱
 0 |╱________
 -5 0 5

4. Leaky ReLU#

公式#

$$ \text{LeakyReLU}(x) = \max(\alpha x, x) = \begin{cases} x & \text{if } x > 0 \\ \alpha x & \text{if } x \leq 0 \end{cases} $$

其中 $\alpha$ 通常为 $0.01$ 。

正则化技术

Mon, 01 Jan 0001 00:00:00 +0000

过拟合问题#

什么是过拟合？#

过拟合（Overfitting） 是指模型在训练集上表现很好，但在测试集上表现较差的现象。

过拟合的原因#

模型过于复杂：参数过多，容量过大
训练数据不足：数据量小于模型容量
训练时间过长：过度拟合训练数据

如何识别过拟合？#

训练损失 ↓↓↓ 但 验证损失 ↑↑↑

指标：

卷积神经网络

Mon, 01 Jan 0001 00:00:00 +0000

CNN概述#

为什么需要CNN？#

全连接网络的局限性：

参数过多：对于 $28 \times 28$ 图像，需要 $784 \times 128 = 100,352$ 个参数
忽略空间结构：将图像展平丢失空间信息
计算量大：难以处理大图像

CNN的优势#

参数共享：同一卷积核在整个图像上共享
局部连接：每个神经元只连接局部区域
平移不变性：能够识别不同位置的相同模式
层次化特征：自动学习从低级到高级的特征

CNN的基本结构#

输入图像 → 卷积层 → 激活函数 → 池化层 → ... → 全连接层 → 输出

卷积层#

卷积操作#

基本概念#

卷积（Convolution） 是在图像上滑动一个小的滤波器（卷积核），计算局部区域的加权和。

循环神经网络

Mon, 01 Jan 0001 00:00:00 +0000

RNN概述#

为什么需要RNN？#

问题：全连接网络和CNN无法处理序列数据：

文本、语音、时间序列
需要记忆历史信息
输入长度可变

RNN的特点#

记忆能力：能够记住历史信息
参数共享：不同时间步共享参数
变长输入：可以处理不同长度的序列

应用场景#

自然语言处理：文本分类、机器翻译、文本生成
语音识别：语音转文本
时间序列预测：股票价格、天气预测
视频分析：动作识别、视频描述

基础RNN#

结构#

时间步 t-1: h_{t-1} ──┐
 │
时间步 t: x_t → [RNN] → h_t → y_t
 ↑
 └── h_t (传递到下一时间步)

数学表示#

$$ h_t = \tanh(W_{hh} \cdot h_{t-1} + W_{xh} \cdot x_t + b_h) $$ $$ y_t = W_{hy} \cdot h_t + b_y $$

其中：

Transformer架构

Mon, 01 Jan 0001 00:00:00 +0000

Transformer概述#

背景#

Transformer 由Vaswani等人在2017年提出，彻底改变了NLP和CV领域。

核心创新#

自注意力机制：并行处理序列，无需循环
位置编码：替代RNN的位置信息
完全并行：训练速度大幅提升

优势#

并行计算：比RNN快得多
长距离依赖：直接建模任意距离的关系
可解释性：注意力权重可视化

注意力机制#

基本思想#

注意力（Attention）：让模型关注输入的不同部分。

查询-键-值（QKV）机制#

Query (Q): 查询向量，表示"我想找什么"
Key (K): 键向量，表示"我是什么"
Value (V): 值向量，表示"我的内容"

计算过程#

计算相似度：$\text{scores} = Q \cdot K^T$
归一化：$\text{attention\_weights} = \text{softmax}(\text{scores} / \sqrt{d_k})$
加权求和：$\text{output} = \text{attention\_weights} \cdot V$

数学公式#

$$ \text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right) \cdot V $$

其中 $d_k$ 是键的维度，用于缩放。

优化算法

Mon, 01 Jan 0001 00:00:00 +0000

优化问题#

目标#

找到使损失函数最小的参数：

$$ \theta^* = \arg\min L(\theta) $$

挑战#

非凸优化：可能存在多个局部最优
高维空间：参数数量巨大
数据量大：无法使用全部数据
梯度问题：梯度消失/爆炸

梯度下降变体#

1. 批量梯度下降（BGD）#

使用全部训练数据计算梯度：

$$ \theta \leftarrow \theta - \eta \cdot \frac{1}{m} \sum_{i=1}^{m} \nabla L(\theta; x_i, y_i) $$

特点：

梯度准确
计算慢
内存需求大

2. 随机梯度下降（SGD）#

每次使用一个样本：

$$ \theta \leftarrow \theta - \eta \cdot \nabla L(\theta; x_i, y_i) $$

特点：

计算快
梯度噪声大
收敛不稳定

3. 小批量梯度下降（Mini-batch SGD）#

使用小批量数据（最常用）：

$$ \theta \leftarrow \theta - \eta \cdot \frac{1}{\text{batch\_size}} \sum_{i \in \text{batch}} \nabla L(\theta; x_i, y_i) $$

特点：

损失函数详解

Mon, 01 Jan 0001 00:00:00 +0000

损失函数详解#

损失函数概述#

什么是损失函数？#

损失函数（Loss Function） 衡量模型预测值与真实值之间的差异。

作用#

指导训练：告诉模型如何调整参数
评估性能：衡量模型好坏
优化目标：最小化损失函数

基本要求#

可微：便于梯度下降
非负：损失应该 ≥ 0
单调性：预测越准确，损失越小

回归损失函数#

1. 均方误差（MSE）#

公式#

$$ \text{MSE} = \frac{1}{n} \sum_{i=1}^{n} (y_i - \hat{y}_i)^2 $$

特点#

对大误差敏感：平方项放大误差
可微：梯度连续
应用：回归问题

梯度#

$$ \frac{\partial \text{MSE}}{\partial \hat{y}} = -2(y - \hat{y}) $$

2. 平均绝对误差（MAE）#

公式#

$$ \text{MAE} = \frac{1}{n} \sum_{i=1}^{n} |y_i - \hat{y}_i| $$

特点#

对异常值鲁棒：线性惩罚
不可微：在0点不可微（需次梯度）
应用：需要鲁棒性的回归

3. Huber损失#

结合MSE和MAE的优点：

$$ L_\delta(y, \hat{y}) = \begin{cases} 0.5(y - \hat{y})^2 & \text{if } |y - \hat{y}| \leq \delta \\ \delta|y - \hat{y}| - 0.5\delta^2 & \text{if } |y - \hat{y}| > \delta \end{cases} $$

特点：

模型评估与调优

Mon, 01 Jan 0001 00:00:00 +0000

评估指标#

分类任务#

1. 准确率（Accuracy）#

$$ \text{Accuracy} = \frac{TP + TN}{TP + TN + FP + FN} $$

特点：

直观易懂
问题：类别不平衡时不准确

2. 精确率（Precision）#

$$ \text{Precision} = \frac{TP}{TP + FP} $$

含义：预测为正的样本中，真正为正的比例。

3. 召回率（Recall）#

$$ \text{Recall} = \frac{TP}{TP + FN} $$

含义：真正为正的样本中，被正确预测的比例。

4. F1分数#

$$ \text{F1} = \frac{2 \cdot \text{Precision} \cdot \text{Recall}}{\text{Precision} + \text{Recall}} $$

特点：平衡精确率和召回率。

5. ROC曲线和AUC#

ROC曲线：以假正率（FPR）为横轴，真正率（TPR）为纵轴。

AUC：ROC曲线下的面积，值越大越好。

回归任务#

1. 均方误差（MSE）#

$$ \text{MSE} = \frac{1}{n} \sum_{i=1}^{n} (y_i - \hat{y}_i)^2 $$

2. 均方根误差（RMSE）#

$$ \text{RMSE} = \sqrt{\text{MSE}} $$

3. 平均绝对误差（MAE）#

$$ \text{MAE} = \frac{1}{n} \sum_{i=1}^{n} |y_i - \hat{y}_i| $$

4. R²分数#

$$ R^2 = 1 - \frac{SS_{\text{res}}}{SS_{\text{tot}}} $$

含义：模型解释的方差比例，越接近1越好。

生成模型

Mon, 01 Jan 0001 00:00:00 +0000

生成模型概述#

什么是生成模型？#

生成模型（Generative Models） 学习数据的分布，能够生成新的样本。

与判别模型的区别#

特性	判别模型	生成模型
目标	P(y\|x)	P(x) 或 P(x,y)
任务	分类、回归	生成、密度估计
示例	CNN、RNN	VAE、GAN

应用场景#

图像生成：生成新图像
文本生成：生成文本
数据增强：生成训练数据
风格迁移：转换图像风格

变分自编码器（VAE）#

概述#

VAE（Variational Autoencoder） 结合自编码器和变分推断。

结构#

编码器：x → z (潜在变量)
解码器：z → x̂ (重构)

关键创新#

1. 潜在空间#

将输入编码到潜在空间 z，而不是固定编码。

强化学习基础

Mon, 01 Jan 0001 00:00:00 +0000

强化学习概述#

什么是强化学习？#

强化学习（Reinforcement Learning） 是智能体通过与环境交互，根据奖励信号学习最优策略的机器学习方法。

核心特点#

交互式学习：通过试错学习
延迟奖励：奖励可能延迟到来
探索与利用：平衡探索新动作和利用已知好动作

应用场景#

游戏AI：AlphaGo、Dota 2
机器人控制：行走、抓取
自动驾驶：决策规划
推荐系统：个性化推荐

基本概念#

智能体与环境#

智能体（Agent）
 ↓ 动作 a_t
环境（Environment）
 ↓ 状态 s_{t+1}, 奖励 r_{t+1}
智能体

关键要素#

1. 状态（State）#

环境的当前情况，用 s 表示。