神经网络

专业知识 · 20-Knowledge/人工智能/神经网络.md

神经网络

概念解释

神经网络是由多层可学习函数组合而成的模型。每一层通常做线性变换再接非线性激活，从而表示复杂的非线性关系。

公式与计算

单层形式：

$$ h=\phi(Wx+b) $$

多层网络：

$$ f(x)=W_L\phi(W_{L-1}\phi(\cdots \phi(W_1x+b_1)))+b_L $$

训练目标：

$$ \min_\theta \frac{1}{n}\sum_{i=1}^n L(f_\theta(x_i),y_i) $$

其中参数 $\theta$ 包括所有层的权重和偏置，通常用反向传播计算梯度。

与其他名词的关联

• 监督学习：神经网络是监督学习中常用的函数族。
• 损失函数：网络通过最小化损失学习参数。
• 过拟合与正则化：参数多、表达能力强，因此更容易过拟合。
• 模型评估：需要独立测试集、消融实验和不确定性评估。
• ../统计推断/最大似然估计：分类网络用交叉熵训练时，可解释为最大化条件似然。

典型应用场景

• 图像识别、语音识别、自然语言处理。
• 表格数据中的复杂非线性预测。
• 极端风险场景中作为特征提取器或预测器，但需要额外关注尾部误差。

易错点

• 层数更多不必然更好，数据量和正则化要匹配。
• 训练损失下降不代表泛化提升。
• 神经网络不是黑箱的借口，仍需要评估、解释和误差分析。

课后习题

1. 为什么神经网络需要非线性激活函数？
2. 一个线性层输入维度 10、输出维度 3，有多少个权重参数和偏置参数？
3. 分类神经网络常用什么损失？

答案

1. 若没有非线性，多层线性变换仍等价于一层线性变换。
2. 权重 $3\times10=30$，偏置 3 个。
3. 交叉熵损失。