分类问题

线性回归模型适用于输出为连续值的情景。softmax回归适用于离散值的预测问题。

通常使用离散的数值来表示类别，例如$y_1=1, y_2=2, y_3=3$。与线性回归的一个主要不同在于，softmax回归的输出值个数等于标签里的类别数。

softmax回归模型

softmax回归同线性回归一样，也是一个单层神经网络。输出值$o_i$当作预测类别是$i$的置信度。

$$
\hat{y}_1, \hat{y}_2, \hat{y}_3 = \text{softmax}(o_1, o_2, o_3)
$$

$$
\hat{y}_1 = \frac{ \exp(o_1)}{\sum_{i=1}^3 \exp(o_i)},\quad\hat{y}_2 = \frac{ \exp(o_2)}{\sum_{i=1}^3 \exp(o_i)},\quad\hat{y}_3 = \frac{ \exp(o_3)}{\sum_{i=1}^3 \exp(o_i)}.
$$

单样本分类的矢量计算表达式

softmax回归对样本$i$分类的矢量计算表达式为

$$
\begin{aligned}\boldsymbol{o}^{(i)} &= \boldsymbol{x}^{(i)} \boldsymbol{W} + \boldsymbol{b},\\\boldsymbol{\hat{y}}^{(i)} &= \text{softmax}(\boldsymbol{o}^{(i)})\end{aligned}
$$

交叉熵损失函数

平方损失则过于严格，交叉熵（cross entropy）是一个常用的衡量方法：

$$
H\left(\boldsymbol y^{(i)}, \boldsymbol {\hat y}^{(i)}\right ) = -\sum_{j=1}^q y_j^{(i)} \log \hat y_j^{(i)},
$$

假设训练数据集的样本数为$n$，交叉熵损失函数定义为

$$
\ell(\boldsymbol{\Theta}) = \frac{1}{n} \sum_{i=1}^n H\left(\boldsymbol y^{(i)}, \boldsymbol {\hat y}^{(i)}\right ),
$$

其中$\boldsymbol{\Theta}$代表模型参数。