ARTICLE · 1067203
最优化习题一则
最优化习题一则 失眠夜，我发现没有ASMR已经不能正常入睡。 本学期在学习最优化，有一道证明凸函数的习题很简洁优美，要证明softmax函数的对数似然其为凸。 这道题看到softmax能联想到概率很容易
证：
为凸。
证明：
令
则
对 求一阶偏导，有
当 时，
当 时，
令
则
因此，
而对于 ，
于是 Hessian 矩阵可以写成
其中
对于任意向量
有
由于
因此可以把 看作一组概率。于是
所以 Hessian 矩阵 半正定。
根据凸函数的二阶判定条件，
是凸函数。