21世纪高等院校电子信息类规划教材·信息 _生活百科

文章插图
21世纪高等院校电子信息类规划教材·信息【21世纪高等院校电子信息类规划教材·信息】《21世纪高等院校电子信息类规划教材·资讯理论基础》是作者多年教学和科研实践的积累，是在吸收国内外优秀教材优点的基础上，进一步最佳化整合教学内容，并进行改进和补充而成的。全书共分为12章，内容包括：信息的基本概念、香农资讯理论研究的内容与进展，离散信息的度量，离散信源，连续信息与连续信源，无失真信源编码，离散信道及其容量，有噪信道编码，波形信道，信息率失真函式，有约束信道及其编码，网路资讯理论初步，信息理论方法与套用等。《21世纪高等院校电子信息类规划教材·资讯理论基础》强调定理中物理概念和结论的理解与掌握，简化烦琐的数学推导，注重使用明确、直观的物理概念，增加实例，力求让讲述的内容更适合工科专业学生的学习。《21世纪高等院校电子信息类规划教材·资讯理论基础》有*号的部分可以作为选学内容，有利于教师根据教学计画进行调整。每章的思考题和习题可以作为课后的练习。学习本课程的主要目的是，理解香农资讯理论的基本原理，掌握信息与熵的基本运算方法。
基本介绍书名：21世纪高等院校电子信息类规划教材?信息
类型：信息理论
出版日期：2008年8月1日
语种：简体中文
ISBN：9787115177902
品牌：人民邮电出版社
作者：田宝玉杨洁
出版社：人民邮电出版社
页数：275页
开本：16
定价：29.80
内容简介《21世纪高等院校电子信息类规划教材·资讯理论基础》主要用做到等院校信息与通信及相关专业的教材，还可作为相关专业的研究生和工程技术人员的参考书。图书目录第1章绪论 1.1 信息的基本概念 1.1.1 资讯理论的产生 1.1.2 信息的基本概念 1.2 香农资讯理论研究的内容 1.2.1 通信系统模型 1.2.2 香农资讯理论的主要内容 1.3 香农资讯理论研究的进展与套用 1.3.1 香农资讯理论创立的背景 1.3.2 香农的主要贡献 1.3.3 香农资讯理论的研究进展 1.3.4 香农资讯理论的套用思考题第2章离散信息的度量 2.1 自信息和互信息 2.1.1 自信息 2.1.2 互信息 2.2 信息熵 2.2.1 信息熵的定义与计算 2.2.2 条件熵与联合熵 2.2.3 熵的基本性质 2.3 平均互信息 2.3.1 平均互信息的定义 2.3.2 平均互信息的性质 2.3.3 平均条件互信息本章小结思考题习题第3章离散信源 3.1 离散信源的分类与数学模型 3.1.1 离散信源的分类 3.1.2 离散无记忆信源的数学模型 3.1.3 离散有记忆信源的数学模型 3.2 离散无记忆信源的熵 3.2.1 单符号离散无记忆信源的熵 3.2.2 离散无记忆信源N次扩展源的熵 3.3 离散平稳信源的熵 3.3.1 离散平稳信源 3.3.2 离散平稳有记忆信源的熵 3.4 有限状态马尔可夫链 3.4.1 马氏链基本概念 3.4.2 齐次马氏链 3.4.3 马氏链状态分类 3.4.4 马氏链的平稳分布 3.5 马尔可夫信源 3.5.1 马氏源的基本概念 3.5.2 马氏源的产生模型 3.5.3 马氏链N次扩展源的熵的计算 3.5.4 马氏源符号熵的计算 3.6 信源的相关性与剩余度 3.6.1 信源的相关性 3.6.2 信源剩余度（冗余度） 3.6.3 自然语言的相关性和剩余度本章小结思考题习题第4章连续信息与连续信源 4.1 连续随机变数集合的熵 4.1.1 连续随机变数的离散化 4.1.2 连续随机变数集的熵 4.1.3 连续随机变数集的条件熵 4.1.4 连续随机变数集的联合熵 4.1.5 连续随机变数集合差熵的性质 4.1.6 连续随机变数集合的信息散度 4.2 离散时间高斯信源的熵 4.2.1 维高斯随机变数集的熵 4.2.2 多维独立高斯随机变数集的熵 4.2.3 多维相关高斯随机变数集的熵 4.3 连续最大熵定理 4.3.1 限峰值最大熵定理 4.3.2 限功率最大熵定理 4.3.3 熵功率和剩余度 4.4 连续随机变数集的平均互信息 4.4.1 连续随机变数集的平均互信息 4.4.2 连续随机变数集平均互信息的性质 4.5 离散集与连续集之间的互信息 4.5.1 离散事件与连续事件之间的互信息 4.5.2 离散集合与连续集合的平均互信息本章小结思考题习题第5章无失真信源编码 5.1 概述 5.1.1 信源编码器 5.1.2 信源编码的分类 5.1.3 分组码 5.2 定长码 5.2.1 无失真编码条件 5.2.2 信源序列分组定理 5.2.3 定长码信源编码定理 5.3 变长码 5.3.1 异前置码的性质 5.3.2 变长码信源编码定理 5.4 哈夫曼编码 5.4.1 二元哈夫曼编码 5.4.2 多元哈夫曼编码 5.4.3 马氏源的编码 *5.5 几种实用的编码方法 5.5.1 算术编码 5.5.2 游程编码 5.5.3 L-Z编码本章小结思考题习题第6章离散信道及其容量 6.1 概述 6.1.1 信道的分类 6.1.2 离散信道的数学模型 6.1.3 信道容量的定义 6.2 单符号离散信道及其容量 6.2.1 离散无噪信道的容量 6.2.2 离散对称信道的容量 6.2.3 般离散信道的容量 6.3 级联信道及其容量 6.4 多维矢量信道及其容量 6.4.1 多维矢量信道输入与输出的性质 6.4.2 离散无记忆扩展信道及其容量 6.4.3 并联信道及其容量 6.4.4 和信道及其容量 6.5 信道容量的叠代计算本章小结思考题习题第7章有噪信道编码 7.1 概述 7.1.1 信道编码的基本概念 7.1.2 判决与解码规则 7.1.3 解码错误机率 7.2 最佳判决与解码準则 7.2.1 最大后验机率準则 7.2.2 最大似然準则 7.3 信道编码与最佳解码 7.3.1 线性分组码 7.3.2 序列最大似然解码 7.3.3 几种简单的分组码 7.4 费诺（Fano）不等式 7.4.1 信道疑义度 7.4.2 费诺（Fano）不等式 7.5 有噪信道编码定理 7.5.1 联合典型序列 7.5.2 有噪信道编码定理 7.5.3 无失真信源信道编码定理 7.6 纠错编码技术简介 7.6.1 线性分组码的编解码 7.6.2 几种重要的分组码 7.6.3 卷积码简介 *7.7 信道编码性能界限 7.7.1 汉明球包界 7.7.2 Varsharmov-Gilberlt界 7.7.3 P1otkin界本章小结思考题习题第8章波形信道 8.1 离散时间连续信道 8.1.1 时间离散连续信道模型 8.1.2 平稳无记忆连续信道 8.1.3 多维矢量连续信道的性质 8.1.4 离散时间连续信道的容量 8.2 加性噪声信道与容量 8.2.1 加性噪声信道的容量 8.2.2 加性高斯噪声信道的容量 8.2.3 般加性噪声信道容量界 8.2.4 并联加性高斯噪声信道的容量 8.3 AWGN信道的容量 8.3.1 加性高斯噪声波形信道 8.3.2 波形信道的互信息与容量 8.3.3 AWGN信道的容量 8.3.4 高斯噪声信道编码定理 8.3.5 功率利用率和频谱利用率的关係 8.4 有色高斯噪声信道 8.4.1 有色高斯噪声信道容量 8.4.2 AWGN信道容量的进一步讨论 *8.5 数字调製系统的信道容量本章小结思考题习题第9章信息率失真函式 9.1 概述 9.1.1 系统模型 9.1.2 失真测度 9.2 离散信源信息率失真函式 9.2.1 信息率失真函式 9.2.2 R（D）函式的性质 9.3 限失真信源编码定理 9.3.1 码率的压缩 9.3.2 限失真信源编码定理 9.3.3 限失真信源信道编码定理 9.4 离散信源信息率失真函式的计算 9.4.1 R（D）参量表示法求解 9.4.2 R（D）求解过程归纳 9.4.3 参量s的意义 9.5 连续信源信息率失真函式 9.5.1 信息率失真函式与性质 9.5.2 R（D）函式的计算 9.5.3 差值失真测度 9.6 高斯信源的R（D）函式 9.6.1 离散时间无记忆高斯信源 9.6.2 独立并联高斯信源 9.7 一般连续信源R（D）函式 *9.8 有损数据压缩技术简介 9.8.1 量化 9.8.2 预测编码 9.8.3 子带编码 9.8.4 变换编码本章小结思考题习题第10章有约束信道及其编码 10.1 标号图的性质 10.1.1 标号图的基本概念 10.1.2 标号图的变换 10.2 有约束信道容量 10.2.1 有约束信道容量的定义 10.2.2 等时长符号有约束信道的容量 10.2.3 不等时长符号无约束信道的容量 10.2.4 不等时长符号有约束信道的容量 10.3 有约束序列的性质 10.3.1 信道对传输序列的约束 10.3.2 游程长度受限序列（RLL） 10.3.3 部分回响最大似然（PRML）序列 10.3.4 直流平衡序列 10.3.5 其他频域受限序列 10.4 有约束信道编码定理 10.4.1 编码器的描述 10.4.2 有约束信道编码定理 10.4.3 有限状态编码定理 10.4.4 编码器性能指标 *10.5 有约束序列编码与套用 10.5.1 块编码器 10.5.2 实用直流平衡序列 10.5.3 常用有约束序列编码及套用本章小结思考题习题第11章网路资讯理论初步 11.1 概述 11.2 多址接人信道 11.2.1 二址接入信道的容量 11.2.2 不同多址方式下的接入信道容量分析 11.2.3 多址接入信道的容量 11.3 广播信道 11.3.1 退化广播信道 11.3.2 退化广播信道的容量区域 11.4 相关信源编码 11.4.1 典型的相关信源编码模型 11.4.2 S1epiarr—Wolf相关信源编码定理本章小结思考题习题 *第12章信息理论方法及其套用 12.1 信源熵的估计 12.1.1 离散信源序列熵的估计 12.1.2 连续信源熵的估计 12.2 最大熵原理 12.2.1 最大熵原理的描述 12.2.2 熵集中定理 12.2.3 几种重要的最大熵分布 12.3 最小交叉熵原理 12.3.1 最小交叉熵原理 12.3.2 交叉熵的性质 12.3.3 最小交叉熵推断的性质 12.3.4 交叉熵法 12.4 信息理论方法的套用 12.4.1 DNA序列的熵估计和压缩 12.4.2 最大熵谱估计和最小交叉熵谱估计 12.4.3 最大熵建模及其在自然语言处理中的套用 12.4.4 最大熵原理在经济学中的套用 12.4.5 信息理论方法套用展望本章小结思考题习题参考文献文摘第1章绪论资讯理论即香农（aaude Edwood Shannon，1916——2001）资讯理论，也称经典资讯理论，是研究通信系统极限性能的理论。从资讯理论产生到现在几十年来，随着人们对信息的认识不断深化，对资讯理论的研究日益广泛和深入，资讯理论的基本思想和方法已经渗透到许多学科。在人类社会已经进入资讯时代的今天，信息理论在自然科学和社会科学研究领域还会发挥更大的作用。本章简要地介绍了香农资讯理论的概况，内容安排如下：首先介绍信息的基本概念，说明香农信息属于语法信息中的机率信息；然后以通信系统模型为基础，简单介绍香农资讯理论所研究的内容；最后介绍香农资讯理论产生的背景、主要的研究进展及其套用。1.1.1 资讯理论的产生 1.1 信息的基本概念我们知道，组成客观世界三大基本要素是：物质、能量和信息。人类社会从农业时代经过工业时代发展到资讯时代，特别是在今天的资讯时代，社会的发展都离不开物质（材料）、能量（能源）和信息资源。美国学者欧廷格说：“没有物质什幺都不存在，没有能量什幺都不发生，没有信息什幺都没意义。”（“Without materials nothing exists.Without energynothing happens.Without information nothing makes sense.”）可见，关于信息的课程本应该像物理、化学、生物等课程一样，是基础课。但是，由于信息的抽象性以及当前人们对信息的认识并不完全清楚，所以在当前只能是专业基础课。人们普遍认为，1948年美国工程师和数学家香农发表的《通信的数学理论》（AMatematical Theory of Communication，BSTJ，1948）这篇里程碑性的文章标誌着资讯理论的产生，而香农本人也成为资讯理论的奠基人。香农指出，通信的基本问题是在一点精确地或近似地恢复另一点所选择的讯息。人们从这个基本问题出发，对通信系统制定了三项性能指标：传输的有效性、传输的可靠性、传输的安全性。