如何让计算机知道这个数字是一个5？ 人能够从形状分辨，机器用特征量学习
端到端：从原始数据（输入）中获得目标结果（输出）的意思。
用训练数据进行学习 用验证数据进行评估（泛化能力）
过拟合：只学会训练数据（监督数据）
损失函数：神经网络的性能；这个网络对监督数据有多大程度不一致
- 均方误差
\[
E = \frac{1}{2} \sum_{k}(y_k - t_k)^2
\]
\(y_k\)是表示神经网络的输出，\(t_k\)表示监督数据，\(k\)表示数据的维数
- 交叉熵误差 衡量的是模型预测的概率分布与真实标签的概率分布之间的差异。
加条公式
4.2.3 mini-batch学习
用随机选择的小批量数据（mini-batch）作为全体训练数据的近似值。
4.3 数值微分
曲线面点上切线的导数 偏导数 - 维基百科，自由的百科全书 (wikipedia.org)