简要目录：
一、概述
我们知道，机器学习的特点就是：以计算机为工具和平台，以数据为研究对象，以学习方法为中心；是概率论、线性代数、数值计算、信息论、最优化理论和计算机科学等多个领域的交叉学科。所以本文就先介绍一下机器学习涉及到的一些最常用的的数学知识。
二、线性代数
2-1、标量
2-2、向量
2-3、矩阵
2-4、张量
2-5、范数
2-6、特征分解
2-7、奇异值分解（Singular Value Decomposition，SVD）
2-8、Moore-Penrose伪逆
2-9、几种常用的距离
1、曼哈顿距离
2、欧氏距离
3、闵可夫斯基距离
4、切比雪夫距离
5、夹角余弦
6、汉明距离
7、杰卡德相似系数
8、杰卡德距离
三、概率
3-1、为什么使用概率？
3-2、随机变量
3-3、概率分布
3-4、条件概率
3-5、贝叶斯公式
3-6、期望
3-7、方差
3-8、协方差
3-9、常见分布函数（0-1分布，几何分布，二项分布，高斯分布，指数分布）
3-10、Lagrange乘子法
3-11、最大似然估计
四、信息论
4-1、熵
4-2、联合熵
4-3、条件熵
4-4、相对熵
4-5、互信息
4-6、最大熵模型
五、 数值计算
5-1、上溢和下溢
5-2、计算复杂性与NP问题
5-3、数值计算
六、最优化
6-1、最优化理论
6-2、最优化问题的数学描述
6-3、凸集与凸集分离定理
6-4、梯度下降算法
6-5、随机梯度下降算法
6-6、牛顿法
6-7、阻尼牛顿法
6-8、拟牛顿法
参考：https://zhuanlan.zhihu.com/p/25197792