卷积神经网络（CNN）

1.1 生物视觉皮层启发#

CNN 的设计灵感来源于 1960 年代神经科学家 Hubel 和 Wiesel 对猫视觉皮层的研究：

• 简单细胞（Simple Cells）：只对特定位置、方向的边缘/条状刺激有反应 → 对应 CNN 的“卷积核”
• 复杂细胞（Complex Cells）：对某方向边缘有反应，但位置不敏感 → 对应“池化层”的平移不变性
• 层级结构：低级特征（边缘）→ 中级特征（形状）→ 高级特征（物体）→ 对应 CNN 的“层叠结构”

🧬 CNN 是对生物视觉系统的“工程化模拟”，不是完全复制，而是提取其核心思想：局部感受、层次抽象、权值共享 。

1.2 哲学思想：让机器“学会看”#

• 传统方法：人工设计特征（如SIFT、HOG）→ 费时费力，泛化差
• CNN 方法：端到端学习 ，从原始像素自动学习最优特征表示
• 核心哲学：Representation Learning（表示学习）

2.1 离散卷积公式（2D）#

对输入图像 $I \in \mathbb{R}^{H \times W}$ 和卷积核 $K \in \mathbb{R}^{k \times k}$ ，输出特征图 $O$ 在位置 $(i,j)$ 的值为：

$O(i,j) = (I \* K)(i,j) = \sum\_{m=0}^{k-1} \sum\_{n=0}^{k-1} I(i+m, j+n) \cdot K(m,n)$

注意：实际深度学习框架中多为“互相关（cross-correlation）”，即不翻转核，但习惯仍称“卷积”。

2.2 多通道输入/输出#

• 输入通道数：$C\_{in}$（如RGB=3）

• 输出通道数：$C\_{out}$（即卷积核个数）

• 每个卷积核尺寸：$k \times k \times C\_{in}$

• 总参数量：$C\_{out} \times (k \times k \times C\_{in} + 1)$（+1 是偏置项）

• ✅ 举例：

• 输入：224×224×3

• 卷积层：64个 3×3 卷积核

• 参数量 = $64 \times (3 \times 3 \times 3 + 1) = 64 \times 28 = 1,792$

• 对比全连接：$224 \times 224 \times 3 \times 1000 = 150M$→ CNN 参数效率极高！

2.3 输出尺寸计算公式#

给定：

• 输入尺寸：$W\_{in} \times H\_{in}$
• 卷积核尺寸：$K$
• 步长：$S$
• 填充：$P$

输出尺寸：

$W\_{out} = \left\lfloor \frac{W\_{in} + 2P - K}{S} \right\rfloor + 1$

📌 常用设置：K=3, S=1, P=1 → 尺寸不变；K=3, S=2, P=1 → 尺寸减半

3.1 卷积层（Conv Layer）——不止是“滑动窗口”#

3.2 激活函数 —— 为什么ReLU是王者？#

3.3 池化层 —— 为什么Max Pooling最常用？#

3.4 批归一化（Batch Normalization, BN）——训练加速神器#

3.5 全连接层与Softmax —— 最后的决策者#

4.1 数据预处理#

• 归一化：像素值 /255.0 → [0,1] 或 标准化 $(x - mean)/std$
• 数据增强（Data Augmentation）：
  • 随机裁剪、旋转、翻转、色彩抖动、CutMix、MixUp
  • 本质：增加数据多样性，提升泛化，防过拟合

4.2 优化器选择#

🚀 实践建议：新手用 Adam (lr=0.001) ，高手可尝试 SGD + Momentum + 学习率衰减

4.3 正则化技术#

• L2权重衰减（Weight Decay）：损失函数加 $\lambda \|\theta\|^2$
• Dropout：训练时随机丢弃神经元（通常FC层用，rate=0.5）
• Early Stopping：验证集loss不再下降时停止
• Label Smoothing：软化one-hot标签，防过自信

5.1 LeNet-5 (1998) —— 开山鼻祖#

INPUT → Conv1 → Pool1 → Conv2 → Pool2 → FC1 → FC2 → OUTPUT

• 用于手写数字识别（MNIST）
• 首次证明CNN可行性

5.2 AlexNet (2012) —— 深度学习革命#

• 8层（5Conv + 3FC）
• 首次使用ReLU、Dropout
• 数据增强 + GPU训练
• ImageNet Top-5错误率从26%→15.3%

5.3 VGGNet (2014) —— 简洁之美#

• 核心：统一使用3×3小卷积核堆叠
• 感受野等价于一个大核，但参数更少
• VGG16：13Conv + 3FC = 16层
• 至今仍被用作特征提取器（如风格迁移）

5.4 GoogLeNet / Inception (2014) —— 多尺度融合#

• Inception模块：并行使用1×1, 3×3, 5×5卷积 + Pooling → 捕捉多尺度特征
• 1×1卷积：降维/升维，减少计算量（“瓶颈层”）
• 22层，参数比AlexNet少12倍

5.5 ResNet (2015) —— 突破深度极限#

• 残差块（Residual Block）： $y = F(x) + x$
• 解决“网络退化”问题（深层网络训练误差反而上升）
• 可训练超1000层网络（ResNet-152常用）
• 核心思想：让网络学习残差（变化量），而非直接映射

🏆 ResNet是现代CNN的基石，几乎所有新模型都受其影响。

5.6 EfficientNet (2019) —— 平衡的艺术#

• 提出复合缩放（Compound Scaling） ：同时缩放网络深度（d）、宽度（w）、分辨率（r）
• 公式：$d = \alpha^\phi, w = \beta^\phi, r = \gamma^\phi$，约束 $\alpha \cdot \beta^2 \cdot \gamma^2 \approx 2$
• 在相同计算量下达到SOTA精度

6.1 图像分类 → ResNet, EfficientNet, Vision Transformer#

6.2 目标检测#

6.3 语义分割#

• FCN（全卷积网络）：将FC层替换为卷积，输出像素级预测
• U-Net：编码器-解码器结构 + 跳跃连接（医学图像标配）
• DeepLab系列：空洞卷积 + ASPP（多尺度上下文）

6.4 姿态估计#

• OpenPose：多阶段CNN，同时预测关键点和连接
• HRNet：保持高分辨率特征，精度更高

6.5 医学影像#

• nnU-Net：自动适配任何医学分割任务的框架
• CheXNet：121层DenseNet，用于胸部X光肺炎检测

6.6 视频理解#

• 3D CNN（如C3D）：卷积核扩展到时间维
• Two-Stream Network：RGB流 + 光流流
• I3D（Inflated 3D ConvNet）：将2D卷积核“膨胀”为3D

7.1 CNN vs Transformer#

• Vision Transformer (ViT)：将图像分块，用Transformer编码 → 在大数据下超越CNN
• 混合模型：CNN提取局部特征 + Transformer建模长程依赖（如Swin Transformer）
• 趋势：CNN不会消失，但与Attention机制深度融合

7.2 轻量化CNN#

• MobileNet系列：深度可分离卷积
• ShuffleNet：通道混洗减少计算
• GhostNet：用廉价操作生成“幻影”特征图

7.3 自监督学习#

• MoCo, SimCLR：无标签数据预训练CNN，再微调
• 减少对标注数据的依赖

7.4 可解释性与可视化#

• CAM / Grad-CAM：可视化CNN关注区域
• 特征反演：从特征图重建输入图像

8.1 学习路线图#

数学基础 → Python/PyTorch → CNN理论 → 经典论文 → 复现项目 → 参加比赛（Kaggle）→ 研究前沿

8.2 书籍推荐#

• 《深度学习》（花书）Ian Goodfellow — 理论基石
• 《动手学深度学习》（李沐）— 代码实践神器（有PyTorch版）
• 《神经网络与深度学习》（邱锡鹏）— 中文精品

8.3 视频课程#

• 吴恩达《Deep Learning Specialization》（Coursera）
• 李沐《动手学深度学习》B站课程
• 斯坦福CS231n（YouTube）— CNN圣经级课程

8.4 实战平台#

• Kaggle：大量图像比赛（入门推荐：Digit Recognizer, Dogs vs Cats）
• Google Colab：免费GPU，开箱即用
• Hugging Face：预训练模型库（含CNN）

9.1 数据加载与增强#

1
import torch
2
import torch.nn as nn
3
import torch.optim as optim
4
from torchvision import datasets, transforms
5

6
transform = transforms.Compose([
7
    transforms.Resize((32, 32)),
8
    transforms.ToTensor(),
9
    transforms.Normalize((0.5,), (0.5,))
10
])
11

12
trainset = datasets.CIFAR10(root="./data", train=True, download=True, transform=transform)
13
trainloader = torch.utils.data.DataLoader(trainset, batch_size=64, shuffle=True)

9.2 定义带BN和Dropout的CNN#

1
class CNN(nn.Module):
2
    def __init__(self):
3
        super().__init__()
4
        self.features = nn.Sequential(
5
            nn.Conv2d(3, 32, 3, padding=1),
6
            nn.BatchNorm2d(32),
7
            nn.ReLU(),
8
            nn.MaxPool2d(2),
9
            nn.Conv2d(32, 64, 3, padding=1),
10
            nn.BatchNorm2d(64),
11
            nn.ReLU(),
12
            nn.MaxPool2d(2),
13
            nn.Conv2d(64, 128, 3, padding=1),
14
            nn.BatchNorm2d(128),
15
            nn.ReLU(),
16
            nn.AdaptiveAvgPool2d((1, 1)),
17
        )
18
        self.classifier = nn.Sequential(
19
            nn.Dropout(0.5),
20
            nn.Linear(128, 10),
21
        )
22

23
    def forward(self, x):
24
        x = self.features(x)
25
        x = torch.flatten(x, 1)
26
        x = self.classifier(x)
27
        return x

9.3 训练循环#

1
model = CNN().cuda()
2
criterion = nn.CrossEntropyLoss()
3
optimizer = optim.Adam(model.parameters(), lr=0.001)
4

5
for epoch in range(10):
6
    for inputs, labels in trainloader:
7
        inputs, labels = inputs.cuda(), labels.cuda()
8
        optimizer.zero_grad()
9
        outputs = model(inputs)
10
        loss = criterion(outputs, labels)
11
        loss.backward()
12
        optimizer.step()
13
    print(f"Epoch {epoch + 1}, Loss: {loss.item():.4f}")