机器学习原理与实践（Python版）

第1章机器学习初探

1.1初识机器学习

1.1.1从小蝌蚪找妈妈谈起

1.1.2机器学习的主要任务

1.2工欲善其事，必先利其器

1.2.1scikitlearn

1.2.2NumPy

1.2.3SciPy

1.2.4Matplotlib

1.2.5Pandas

1.3*简单的机器学习模型

1.3.1贝叶斯公式与边缘分布

1.3.2先验概率与后验概率

1.3.3朴素贝叶斯分类器原理

1.4泰坦尼克之灾

1.4.1认识问题及数据

1.4.2数据预处理

1.4.3特征筛选

1.4.4分类器的构建

1.4.5分类器的评估

第2章一元线性回归

2.1回归分析的性质

2.2回归的基本概念

2.2.1总体的回归函数

2.2.2随机干扰的意义

2.2.3样本的回归函数

2.3回归模型的估计

2.3.1普通*小二乘法原理

2.3.2一元线性回归的应用

2.3.3经典模型的基本假定

2.3.4总体方差的无偏估计

2.3.5估计参数的概率分布

2.4正态条件下的模型检验

2.4.1拟合优度的检验

2.4.2整体性假定检验

2.4.3单个参数的检验

2.5一元线性回归模型预测

2.5.1点预测

2.5.2区间预测

第3章多元线性回归

3.1多元线性回归模型

3.2多元回归模型估计

3.2.1*小二乘估计量

3.2.2多元回归的实例

3.2.3总体参数估计量

3.3从线代角度理解*小二乘

3.3.1*小二乘问题的通解

3.3.2*小二乘问题的计算

3.4多元回归模型检验

3.4.1线性回归的显著性

3.4.2回归系数的显著性

3.5多元线性回归模型预测

3.6格兰杰因果关系检验

第4章线性回归进阶

4.1更多回归模型函数形式

4.1.1双对数模型以及生产函数

4.1.2倒数模型与菲利普斯曲线

4.1.3多项式回归模型及其分析

4.2回归模型的评估与选择

4.2.1嵌套模型选择

4.2.2赤池信息准则

4.3现代回归方法的新进展

4.3.1多重共线性

4.3.2从岭回归到LASSO

4.3.3正则化与没有免费午餐原理

4.3.4弹性网络

4.3.5RANSAC

第5章逻辑回归与*熵模型

5.1逻辑回归

5.2牛顿法解逻辑回归

5.3应用实例： 二分类问题

5.3.1数据初探

5.3.2建模

5.4多元逻辑回归

5.5*熵模型

5.5.1*熵原理

5.5.2约束条件

5.5.3模型推导

5.5.4极大似然估计

5.6应用实例： 多分类问题

5.6.1数据初探

5.6.2建模

第6章神经网络

6.1从感知机开始

6.1.1感知机模型

6.1.2感知机学习

6.1.3多层感知机

6.1.4感知机应用示例

6.2基本神经网络

6.2.1神经网络结构

6.2.2符号标记说明

6.2.3后向传播算法

6.3神经网络实践

6.3.1建模

6.3.2Softmax与神经网络

第7章支持向量机

7.1线性可分的支持向量机

7.1.1函数距离与几何距离

7.1.2*间隔分类器

7.1.3拉格朗日乘数法

7.1.4对偶问题的求解

7.2松弛因子与软间隔模型

7.3非线性支持向量机方法

7.3.1从更高维度上分类

7.3.2非线性核函数方法

7.3.3机器学习中的核方法

7.3.4默瑟定理

7.4对数据进行分类的实践

7.4.1数据分析

7.4.2线性可分的例子

7.4.3线性不可分的例子

第8章k近邻算法

8.1距离度量

8.2k近邻模型

8.2.1分类

8.2.2回归

8.3在Python中应用k近邻算法

8.4k近邻搜索的实现

8.4.1构建kdtree

8.4.2区域搜索

8.4.3*近邻搜索

第9章决策树

9.1决策树基础

9.1.1Hunt算法

9.1.2基尼测度与划分

9.1.3信息熵与信息增益

9.1.4分类误差

9.2决策树进阶

9.2.1ID3算法

9.2.2C4.5算法

9.3分类回归树

9.4决策树剪枝

9.5决策树应用实例

第10章集成学习

10.1集成学习的理论基础

10.2Bootstrap方法

10.3Bagging与随机森林

10.3.1算法原理

10.3.2应用实例

10.4Boosting与AdaBoost

10.4.1算法原理

10.4.2应用实例

10.5梯度提升

10.5.1梯度提升树与回归

10.5.2梯度提升树与分类

10.5.3梯度提升树的原理推导

第11章聚类分析

11.1聚类的概念

11.2k均值算法

11.2.1算法描述

11.2.2应用实例——图像的色彩量化

11.3*期望算法

11.3.1算法原理

11.3.2收敛探讨

11.4高斯混合模型

11.4.1模型推导

11.4.2应用实例

11.5密度聚类

11.5.1DBSCAN算法

11.5.2应用实例

11.6层次聚类

11.6.1AGNES算法

11.6.2应用实例

11.7谱聚类

11.7.1基本符号

11.7.2正定矩阵与半正定矩阵

11.7.3拉普拉斯矩阵

11.7.4相似图

11.7.5谱聚类切图

11.7.6算法描述

11.7.7应用实例

第12章降维与流形学习

12.1主成分分析

12.2奇异值分解

12.2.1一个基本的认识

12.2.2为什么可以做SVD

12.2.3SVD与PCA的关系

12.2.4应用举例与矩阵的伪逆

12.3多维标度法

第13章采样方法

13.1蒙特卡洛法求定积分

13.1.1无意识统计学家法则

13.1.2投点法

13.1.3期望法

13.2蒙特卡洛采样

13.2.1逆采样

13.2.2博克斯穆勒变换

13.2.3拒绝采样与自适应拒绝采样

13.3矩阵的极限与马尔科夫链

13.4查普曼柯尔莫哥洛夫等式

13.5马尔科夫链蒙特卡洛

13.5.1重要性采样

13.5.2马尔科夫链蒙特卡洛的基本概念

13.5.3梅特罗波利斯黑斯廷斯算法

13.5.4吉布斯采样

第14章概率图模型

14.1共轭分布

14.2贝叶斯网络

14.2.1基本结构单元

14.2.2模型推理

14.3贝叶斯网络的Python实例

14.4隐马尔科夫模型

14.4.1随机过程

14.4.2从时间角度考虑不确定性

14.4.3前向算法

14.4.4维特比算法