信息论及其应用

目录
2、1、6 随机变量的相对熵和平均互信息
8、1 古典密码学
8、1、1 古典密码的例子
8、1、2 古典密码的破译
8、2 基于信息论的密码学理论
8、2、1 密码系统理论安全性测度
8、2、2 密码系统的实用安全性
8、3 DES系统
8、3、1 DES系统加密、解密运算的基本步骤
8、3、2 DES系统中密钥的选取
8、4 公开钥密码系统
2、1、7 马尔可夫链和数据处理定理
8、5 确证系统、数字签名和密钥分配、管理
8、5、1 确证系统
8、5、2 数字签名
8、5、3 密钥的管理与分配
第九章 最大信息原则和最大熵谱估计
9、1 最大熵分布
9、2 最大熵谱估计
9、2、1 高斯过程的熵率
9、2、2 Burg定理
9、3 自回归高斯模型的定阶准则
2、2 连续随机变量的互信息和微分熵
9、3、1 Akike的信息量准则AIC〔22〕
9、3、2 Rissanen的最小描述长度准则MDL〔41〕
第十章 类型理论及其应用
10、1 类型理论
10、2 大偏离理论
10、3 通用信源编码与Z—L算法
10、3、1 通用信源编码
10、3、2 Z—L算法〔8〕〔49〕
10、4 假设检验
10、4、1 Neyman-Pearson准则
2、2、1 连续随机变量的互信息
10、4、2 Bayesian准则
第十一章 Kolmogorov复杂性理论
11、1 计算的模型和Kolmogorov复杂性定义
11、1、1 计算模型——Turing机
11、1、2 Kolmogorov复杂性定义
11、1、3 字符串复杂性的例子
11、1、4 整数的Kolmogorov复杂性
11、2 Kolmogorov复杂性和Shannon熵
11、3 Kolmogorov复杂性和通用概率
11、4 停机问题、K(x)的不可计算性和魔数“Ω”
2、2、2 连续随机变量的熵——微分熵
11、4、1 停机问题和K(x)的不可计算性
11、4、2 魔数“Ω”
参考文献
2、2、3 微分熵的极大化
2、3 凸函数和互信息的凸性
2、3、1 凸函数的概念和性质
2、3、2 Kuhn-Tucker条件
2、3、3 互信息的凸性
第一章 绪论
2、4 平稳离散信源
2、4、1 平稳离散信源一般概念
2、4、2 平稳信源的熵
2、4、3 马尔可夫信源
2、5 随机过程的信息量和熵
习题
第三章 离散信源的无错编码
3、1 AEP性质和离散无记忆源(DMS)的等长编码
3、1、1 AEP性质
3、1、2 离散无记忆源的等长编码
第二章 熵和互信息
3、2 离散无记忆源(DMS)的不等长编码
3、2、1 Kraft不等式
3、2、2 不等长编码定理
3、2、3 最佳不等长编码(Huffman编码)
3、2、4 其他不等长编码方法
3、2、5 Shannon编码的竞争最佳性(Competitive optimality)
3、3 平稳信源和马尔可夫信源的编码定理
3、3、1 平稳信源的编码
3、3、2 马尔可夫信源的编码
习题
2、1 离散信源的熵和信息量
第四章 离散无记忆信道(DMC)的容量和编码定理
4、1 离散无记忆信道(DMC)及其容量
4、1、1 信道容量的定义和例子
4、1、2 离散无记忆信道(DMC)的容量定理
4、1、3 对称离散无记忆信道容量的计算
4、1、4 转移概率矩阵可逆信道的容量计算
4、1、5 离散无记忆信道(DMC)容量的迭代计算
4、2 信道的组合
4、2、1 积信道（平行组合信道）
4、2、2 和信道
2、1、1 事件的互信息
4、2、3 级联信道
4、3 离散无记忆信道(DMC)的编码定理
4、3、1 几个有关定义
4、3、2 联合典型列对
4、3、3 信道编码定理
4、3、4 Fano不等式和逆编码定理
4、3、5 具有反馈的离散无记忆信道的容量
4、3、6 信源——信道联合编码
习题
第五章 高斯信道
2、1、2 条件互信息和联合事件的互信息
5、1 高斯信道概念
5、1、1 高斯信道的容量
5、1、2 高斯信道编码定理
5、1、3 高斯信道编码定理之逆
5、2 带限信道
5、3 平行高斯信道
5、4 有色高斯噪声信道
5、5 具有无噪反馈的高斯信道
5、5、1 无记忆高斯信道上无噪反馈通信
5、5、2 一阶自回归高斯信道上无噪反馈通信
2、1、3 事件的自信息
习题
第六章 率失真理论
6、1 率失真函数的定义
6、2 简单信源的率失真函数计算
6、2、1 贝努利信源
6、2、2 高斯信源
6、2、3 高斯矢量信源
6、3 率失真函数的性质
6、3、1 R(D)的定义域(0,Dmax)
6、3、2 R(D)的向下凸性
2、1、4 离散随机变量的平均自信息——熵
6、3、3 R(D)是单调递减的连续函数
6、4 率失真函数R(D)的参数表示式
6、5 率失真函数的迭代计算
6、6 限失真信源编码定理
习题
第七章 网络信息论
7、1 多用户信息传输系统模型
7、1、1 多元接入信道
7、1、2 广播信道
7、1、3 串扰信道
2、1、5 熵的性质
7、1、4 中继信道
7、1、5 相关信源的编码和译码
7、2 推广的联合典型序列及联合AEP性质
7、3 多接入信道
7、4 广播信道
7、4、1 广播信道的定义
7、4、2 退化的广播信道
7、5 相关信源的源编码
习题
第八章 密码学理论