机器学习中数学相关公式的推导
如标题所述，这篇文章中会收录一些机器学习相关的公式。
由于网络上的文章都有版权，随意转载可能有法律风险，所以此处只是收录它们，而不是转载。当然，需要的每个公式我都会自己推导一遍，像我这种小白都能推导出来的话，没理由各位推导不出来。每个链接下面我会记录我推导的时候卡在哪里，需要补充什么，权当给各位的参考。
这个系列，也会随着我学习的过程，逐步增加。我尝试系统地学过概率论等，但是太过枯燥，所以就边应用边学习了，我想这样效果会好一些。
协方差，相关系数
皮儿逊相关系数
如何理解皮尔逊相关系数（Pearson Correlation Coefficient）？ - TimXP的回答 - 知乎
熵
机器学习笔记十：各种熵总结 其中的推导过程，需要用到联合概率和边缘概率的关系。 其中互信息即机器学习中的信息增益.
基尼不纯度
基础概率
全概率公式，贝叶斯公式和朴素贝叶斯
阶跃函数
单位阶跃函数 Sigmoid函数 神经网络中的SIGMOID函数的意义？ - 猪了个去的回答 - 知乎 逻辑回归之sigmoid/tanh/relu激活函数
各种分布
梯度
为什么梯度反方向是函数值局部下降最快的方向？ 如何理解拉格朗日乘子法？ - 戏言玩家的回答 - 知乎 上面这个回答，最后用到了法线和梯度的关系，关于他们两个的关系，请看下文。 方向导数、梯度、法线间的关系
