统计学习理论与方法——R语言版

第1章 概率论基础

1.1基本概念

1.2随机变量数字特征

1.2.1期望

1.2.2方差

1.2.3矩与矩母函数

1.2.4协方差与协方差矩阵

1.3基本概率分布模型

1.3.1离散概率分布

1.3.2连续概率分布

1.3.3在R中使用内嵌分布

1.4概率论中的重要定理

1.4.1大数定理

1.4.2中央极限定理

1.5经验分布函数

第2章 统计推断

2.1参数估计

2.1.1参数估计的基本原理

2.1.2单总体参数区间估计

2.1.3双总体均值差的估计

2.1.4双总体比例差的估计

2.2假设检验

2.2.1基本概念

2.2.2两类错误

2.2.3均值检验

2.3极大似然估计

2.3.1极大似然法的基本原理

2.3.2求极大似然估计的方法

2.3.3极大似然估计应用举例

第3章 采样方法

3.1蒙特卡洛法求定积分

3.1.1无意识统计学家法则

3.1.2投点法

3.1.3期望法

3.2蒙特卡洛采样

3.2.1逆采样

3.2.2博克斯穆勒变换

3.2.3拒绝采样与自适应拒绝采样

3.3矩阵的极限与马尔科夫链

3.4查普曼柯尔莫哥洛夫等式

3.5马尔科夫链蒙特卡洛

3.5.1重要性采样

3.5.2马尔科夫链蒙特卡洛的基本概念

3.5.3MetropolisHastings算法

3.5.4Gibbs采样

第4章 非参数检验方法

4.1列联分析

4.1.1类别数据与列联表

4.1.2皮尔逊(Pearson)的卡方检验

4.1.3列联分析应用条件

4.1.4费希尔(Fisher)的确切检验

4.2符号检验

4.3威尔科克森符号秩检验

4.4威尔科克森的秩和检验

4.5克鲁斯卡尔沃利斯检验

第5章 一元线性回归

5.1回归分析的性质

5.2回归的基本概念

5.2.1总体的回归函数

5.2.2随机干扰的意义

5.2.3样本的回归函数

5.3回归模型的估计

5.3.1普通*小二乘法原理

5.3.2一元线性回归的应用

5.3.3经典模型的基本假定

5.3.4总体方差的无偏估计

5.3.5估计参数的概率分布

5.4正态条件下的模型检验

5.4.1拟合优度的检验

5.4.2整体性假定检验

5.4.3单个参数的检验

5.5一元线性回归模型预测

5.5.1点预测

5.5.2区间预测

第6章 多元线性回归

6.1多元线性回归模型

6.2多元回归模型估计

6.2.1*小二乘估计量

6.2.2多元回归的实例

6.2.3总体参数估计量

6.3从线性代数角度理解*小二乘

6.3.1*小二乘问题的通解

6.3.2*小二乘问题的计算

6.4多元回归模型检验

6.4.1线性回归的显著性

6.4.2回归系数的显著性

6.5多元线性回归模型预测

6.6格兰杰因果关系检验

第7章 线性回归进阶

7.1更多回归模型函数形式

7.1.1双对数模型以及生产函数

7.1.2倒数模型与菲利普斯曲线

7.1.3多项式回归模型及其分析

7.2回归模型的评估与选择

7.2.1嵌套模型选择

7.2.2赤池信息准则

7.2.3逐步回归方法

7.3现代回归方法的新进展

7.3.1多重共线性

7.3.2岭回归

7.3.3从岭回归到LASSO

7.3.4正则化

第8章 方差分析方法

8.1方差分析的基本概念

8.2单因素方差分析方法

8.2.1基本原理

8.2.2分析步骤

8.2.3强度测量

8.3双因素方差分析方法

8.3.1无交互作用的分析

8.3.2有交互作用的分析

8.4多重比较

8.4.1多重t检验

8.4.2Dunnett检验

8.4.3Tukey的HSD检验

8.4.4NewmanKeuls检验

8.5方差齐性的检验方法

8.5.1Bartlett检验法

8.5.2Levene检验法

第9章 逻辑回归与*熵模型

9.1逻辑回归

9.2牛顿法解Logistic回归

9.3多元逻辑回归

9.4*熵模型

9.4.1*熵原理

9.4.2约束条件

9.4.3模型推导

9.4.4极大似然估计

第10章 聚类分析

10.1聚类的概念

10.2K均值算法

10.2.1距离度量

10.2.2算法描述

10.2.3数据分析实例

10.2.4图像处理应用举例

10.3*期望算法

10.3.1算法原理

10.3.2收敛探讨

10.4高斯混合模型

10.4.1模型推导

10.4.2应用实例

10.5密度聚类与DBSCAN算法

第11章 支持向量机

11.1线性可分的支持向量机

11.1.1函数距离与几何距离

11.1.2*间隔分类器

11.1.3拉格朗日乘数法

11.1.4对偶问题的求解

11.2松弛因子与软间隔模型

11.3非线性支持向量机方法

11.3.1从更高维度上分类

11.3.2非线性核函数方法

11.3.3机器学习中的核方法

11.3.4默瑟定理

11.4对数据进行分类的实践

11.4.1基本建模函数

11.4.2分析建模结果

第12章 贝叶斯推断

12.1贝叶斯公式与边缘分布

12.2贝叶斯推断中的重要概念

12.2.1先验概率与后验概率

12.2.2共轭分布

12.3朴素贝叶斯分类器

12.4贝叶斯网络

12.4.1基本结构单元

12.4.2模型推理

12.5贝叶斯推断的应用举例

第13章 降维与流形学习

13.1主成分分析(PCA)

13.2奇异值分解(SVD)

13.2.1一个基本的认识

13.2.2为什么可以做SVD

13.2.3SVD与PCA的关系

13.2.4应用举例与矩阵的伪逆

13.3多维标度法(MDS)

第14章 决策树

14.1决策树基础

14.1.1Hunt算法

14.1.2基尼测度与划分

14.1.3信息熵与信息增益

14.1.4分类误差

14.2决策树进阶

14.2.1ID3算法

14.2.2C4.5算法

14.3分类回归树

14.4决策树剪枝

14.4.1没有免费午餐原理

14.4.2剪枝方法

14.5分类器的评估

第15章 人工神经网络

15.1从感知机开始

15.1.1感知机模型

15.1.2感知机学习

15.1.3多层感知机

15.2基本神经网络

15.2.1神经网络结构

15.2.2符号标记说明

15.2.3后向传播算法

15.3神经网络实践

15.3.1核心函数介绍

15.3.2应用分析实践

附录A必不可少的数学基础

A.1泰勒公式

A.2海塞矩阵

A.3凸函数与詹森不等式

A.3.1凸函数的概念

A.3.2詹森不等式及其证明

A.3.3詹森不等式的应用

A.4泛函与抽象空间

A.4.1线性空间

A.4.2距离空间

A.4.3赋范空间

A.4.4巴拿赫空间

A.4.5内积空间

A.4.6希尔伯特空间

A.5从泛函到变分法

A.5.1理解泛函的概念

A.5.2关于变分的概念

A.5.3变分法的基本方程

A.5.4哈密尔顿原理

A.5.5等式约束下的变分

参考文献