softmax函数的简单介绍

二.交叉熵损失函数（Softmax损失函数）

交叉熵损失函数一般用于分类任务：

softmax用于多分类过程中 ，它将多个神经元的输出，映射到（0,1）区间内，可以看成概率来理解，从而来进行多分类！

实际情况证明，交叉熵代价函数带来的训练效果往往比二次代价函数要好。

（1）分类问题的目标函数中：交叉熵损失函数是最为常用的分类目标函数，且效果一般优于合页损失函数；大间隔损失函数和中心损失函数从增大类间距离、减小类内距离的角度不仅要求分类准确，而且还有助提高特征的分辨能力；坡道损失函数是分类问题目标函数中的一类非凸损失函数，由于其良好的抗噪特性，推荐将其用于样本噪声或离群点较多的分类任务；

（2）回归问题的目标函数中：l1损失函数和l2损失函数是常用的回归任务目标函数，实际使用l2略优于l1；Tukey‘s biweight损失函数为回归问题中的一类非凸损失函数，同样具有良好的抗噪能力；

（3）在一些如年龄识别，头部角度姿态识别等样本标记不确定性的特殊应用场景下，基于标记分布（label distribution）的损失函数是比较好的选择。

softmax函数与交叉熵函数详解

一、二分类以上的任务与二分类任务在网络结构上的区别：

在逻辑回归模型中，模型最终输出的是样本属于正例的概率p，用1-p表示反例的概率，该模型在输出端具有单个输出结点。那么，对于多分类任务，输出端可以有多个结点，每个结点代表属于某一类的概率，满足约束条件：所有结点的概率和为1。这个约束条件将输出结点的输出值变成一个概率分布。【概率分布用于表述随机变量取值的概率规律，随机事件的所有可能值（随机变量）+对应的概率值，称为该事件的概率分布】

二、 softmax函数的使用

由一可知，多结点完成多分类任务需要满足的约束条件是：每个结点输出值范围是[0,1] 所有结点输出值的和等于1。

能够满足这个约束要求的函数就是softmax函数。softmax常作为最后一层的激活函数使用。

softmax包含两部分：soft和max(求数据的最大值),与soft相对的就是hard，hardmax的作用就是直接计算出数据的最大值（唯一性）。softmax会为每个类别计算出一个概率值

softmax的计算原理：

softmax函数表达式：

对softmax的求导：（ 对每个输出结点求偏导）

分两种情况：i=j 与 i≠j  ，求偏导推导过程如下：

交叉熵损失函数与softmax之间的关系

在执行多分类任务中，经常是使用softmax激活函数和交叉熵损失函数的搭配方式。因为交叉熵描述了两个概率分布的差异，然而神经网络输出的是向量，所以需要softmax激活函数先将一个向量进行’归一化‘成概率分布的形式，然后再采用交叉熵损失函数对计算最终的loss。

softmax损失函数   重点：假设此时第i个输出节点为正确类别对应的输出节点，则 是正确类别对应输出节点的概率值，对 添加log运算，不影响函数的单调性，我们期望 的值越大越好(小于1),通常情况下使用梯度下降法来迭代求解，因此只需要为 添加一个负号就变成损失函数。现在，希望该损失函数越小越好。所以，softmax的损失函数式子为：

交叉熵损失函数与softmax损失函数的转换关系：

softmax损失函数是只针对正确类别对应的输出节点，将这个节点的softmax值最大化；而交叉熵损失函数是直接衡量真实分布和实际输出的分布之间的距离。

交叉熵式子： ,  代表真实样本的标签值。  （2）

在分类任务中，样本的真实标签通常表示为one-hot形式，比如三分类，第三个类别表示为[0,0,1]，仅正确类别的位置为1，其他位置都为0，将[0,0,1]代入式子(2),最终结果为 。再对照式子(1),可以愉快的发现，（1）和（2）最终表达形式是一样的，那么，接下来计算损失函数的导数使用大家常见的式子(2),接下来将推导这个最终损失函数L对网络输出变量 的偏导数：

模拟一个三分类使用softmax与交叉熵的结果：

softmax+交叉熵损失函数对参数的更新规则，可以分为两步来记，第一步：每个节点的值减去对应的softmax结果；第二步，将真正类别的输出节点处的值加一。

参考以下文章：

多分类问题的交叉熵       一文详解softmax函数

机器学习中softmax函数到底干嘛用的？比如LR中和神经网络中，求大神赐教，越详细越好，谢谢了

首先你要知道softmax函数是干嘛的。softmax是一个可以把连续的数输出成一个在0到1之间的数。它的输出，表征了不同类别间的相对概率。

比如你的网络输出是[-3，2，-1，0]，但你想要的值域是0到1，用softmax处理后，输出就变成了[0.0057,0.8390,0.0418,0.1135]。是不是就变成你想要的结果了。

当然，softmax函数也可以被当做激活函数，不止用在输出的处理。