机器学习所需的数学知识点

数学基础

微积分

线性代数

概率论

机器学习算法用到的数学知识

算法或理论	涉及知识点
贝叶斯分类器	随机变量、贝叶斯公式、随机变量独立性、正态分布、最大似然估计
决策树	概率、Gini系数、熵
KNN算法	距离函数
主成分分析	协方差矩阵、散布矩阵、拉格朗日乘数法、特征值与特征向量
流形学习	流形、最优化、测地线、测地距离、图、特征值和特征向量
线性判别分析	散度矩阵、逆矩阵、拉格朗日乘数法、特征值与特征向量
支持向量机	点到平面的距离、Slater条件、强对偶、拉格朗日对偶、KKT条件、凸优化、核函数、Mercer条作
logintic回归	概率、随机变量、最大似然估计、梯度下降法、凸优化、牛顿法
随机森林	采样、方差
AdaBoost算法	概率、随机变量、极值定理、数学期望、牛顿法
隐马尔可夫模型	概率、离散型随机变量、条件概率、随机变量独立性、散度矩阵、逆矩阵、拉格朗日乘数法、特征值与特征向量最大似然估计
条件随机场	条件概率、数学期望、最大似然估计
高斯混合模型	正态分布、最大似然估计、Jensen不等式
人工神经网络	梯度下降法、链式法则
卷积神经网络	梯度下降法、链式法则
循环神经网络	梯度下降法、链式法则
生成对抗网络	梯度下降法、链式法则、极值定理、Kullback-Leibler散度、Jensen-Shannon散度、测地距离、条件分布、互信息
K-means算法	距离函数
强化学习	数学期望、Bellman方程
贝叶斯网络	条件概率、贝叶斯公式、图
VC维	维布森（Hoeffding）不等式