信息论与编码试题集与答案考试必看

　在无失真的信源中，信源输出由

　 H(X)

　 来度量；在有失真的信源中，信源输出由

　 R(D)

　 来度量。

　1. 要使通信系统做到传输信息有效、可靠和保密，必须首先

　信源

　编码， 然后_____加密____编码，再______信道_____编码，最后送入信道。

　2. 带限AWGN波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是；当归一化信道容量C/W趋近于零时，也即信道完全丧失了通信能力，此时Eb/N0为

　-1.6 dB，我们将它称作香农限，是一切编码方式所能达到的理论极限。

　3. 保密系统的密钥量越小，密钥熵H(K)就越 小 ，其密文中含有的关于明文的信息量I(M；C)就越

　大 。

　4. 已知n＝7的循环码，则信息位长度k为 3 ，校验多项式 h(x)=

　。

　5. 设输入符号表为X＝{0，1}，输出符号表为Y＝{0，1}。输入信号的概率分布为p＝(1/2，1/2)，失真函数为d(0，0) = d(1，1) = 0，d(0，1) =2，d(1，0) = 1，则Dmin＝ 0 ，R(Dmin)＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x)]＝；Dmax＝

　0.5 ，R(Dmax)＝ 0 ，相应的编码器转移概率矩阵[p(y/x)]＝。

　6. 已知用户A的RSA公开密钥(e,n)=(3,55)，,则

　 40

　，他的秘密密钥(d,n)＝(27,55) 。若用户B向用户A发送m=2的加密消息，则该加密后的消息为 8 。

　 二、判断题 1. 可以用克劳夫特不等式作为唯一可译码存在的判据。

　 （Ö ） 2. 线性码一定包含全零码。

　 （Ö ） 3. 算术编码是一种无失真的分组信源编码，其基本思想是将一定精度数值作为序列的

　编码，是以另外一种形式实现的最佳统计匹配编码。

　 （×） 4. 某一信源，不管它是否输出符号，只要这些符号具有某些概率特性，就有信息量。

　（×） 5. 离散平稳有记忆信源符号序列的平均符号熵随着序列长度L的增大而增大。

　 （×）

　6. 限平均功率最大熵定理指出对于相关矩阵一定的随机矢量X，当它是正态分布时具

　 有最大熵。

　（Ö ）

　7. 循环码的码集中的任何一个码字的循环移位仍是码字。

　（Ö ） 8. 信道容量是信道中能够传输的最小信息量。

　（×） 9. 香农信源编码方法在进行编码时不需要预先计算每个码字的长度。

　（×） 10. 在已知收码R的条件下找出可能性最大的发码作为译码估计值，这种译码方 法叫做最佳译码。

　（Ö ）

　三、计算题 某系统（7，4）码 其三位校验位与信息位的关系为：

　 （1）求对应的生成矩阵和校验矩阵； （2）计算该码的最小距离； （3）列出可纠差错图案和对应的伴随式； （4）若接收码字R=1110011，求发码。

　解：1.

　2.

　dmin=3

　3. S E 000 0000000 001 0000001 010 0000010 100 0000100 101 0001000 111 0010000 011 0100000 110 1000000

　 4. RHT=[001]

　 接收出错 E=0000001

　 R+E=C= 1110010 (发码)

　 四、计算题 已知的联合概率为：

　求，，，

　 解:

　 0.918 bit/symbol

　 =1.585 bit/symbol

　 0.251 bit/symbol

　五、计算题 一阶齐次马尔可夫信源消息集， 状态集，且令，条件转移概率为 ，(1)画出该马氏链的状态转移图； (2)计算信源的极限熵。

　 解：(1)

　 （2）→

　H(X|S1) =H(1/4,1/4,1/2)=1.5比特/符号

　 H(X|S2)=H(1/3,1/3,1/3)=1.585比特/符号 H(X|S3)=H(2/3,1/3)= 0.918比特/符号

　比特/符号

　六、计算题 若有一信源，每秒钟发出2.55个信源符号。

　将此信源的输出符号送入某一个二元信道中进行传输 （假设信道是无噪无损的，容量为1bit/二元符号）， 而信道每秒钟只传递2个二元符号。

　（1） 试问信源不通过编码（即x1®0,x2®1在信道中传输） （2） 能否直接与信道连接？ （3） 若通过适当编码能否在此信道中进行无失真传输？ （4） 试构造一种哈夫曼编码(两个符号一起编码)， （5） 使该信源可以在此信道中无失真传输。

　 解：1.不能，此时信源符号通过0，1在信道中传输，2.55二元符号/s>2二元符号/s

　2. 从信息率进行比较， 2.55*= 1.84 < 1*2

　可以进行无失真传输

　 3.

　 1.56 二元符号/2个信源符号 此时 1.56/2*2.55=1.989二元符号/s < 2二元符号/s

　七、计算题 两个BSC信道的级联如右图所示：

　（1）写出信道转移矩阵； （2）求这个信道的信道容量。

　 解：

　（1）

　 （2）

　信息理论与编码试卷Ａ答案中南大学考试试卷 200

　--

　2010

　学年 上学期期末考试试题

　 时间100分钟 信息论基础

　 课程 32 学时

　学分 考试形式：

　闭

　卷 专业年级：

　 通信07级

　总分100分，占总评成绩70% 注：此页不作答题纸，请将答案写在答题纸上 一填空题（本题20分，每小题2分） 1 无失真信源编码的中心任务是编码后的信息率压缩接近到

　1

　 限失真压缩中心任务是在给定的失真度条件下，信息率压缩接近到

　2

　 。

　2信息论是应用近代数理统计方法研究信息的传输、存储与处理的科学，故称为

　3

　；1948年香农在贝尔杂志上发表了两篇有关的“通信的数学理论”文章，该文用熵对信源的

　4

　的度量，同时也是衡量

　5

　 大小的一个尺度；表现在通信领域里，发送端发送什么有一个不确定量，通过信道传输，接收端收到信息后，对发送端发送什么仍然存在一个不确定量，把这两个不确定量差值用

　6

　来表示，它表现了通信信道流通的

　 7

　 ,若把它取最大值，就是通信线路的 8

　 ，若把它取最小值，就是 9

　 。

　3 若分组码H阵列列线性无关数为n,则纠错码的最小距离dmin为

　10

　 。

　 二

　简答题 （本题20分，每小题4分） 1. 根据信息理论当前无失真压宿在压宿空间和速度两个方向还有研究价值吗？ 2. 我们知道，“猫”(调制解调器的俗称)是在模拟链路上传输数字数据的设备，它可以在一个音频电话线上传输二进制数据，并且没有太高的错误率。现在，我们上网用的“猫”的速度已可达到56Kbps了，但是，如果你用网络蚂蚁或其它软件从网上下载东西时，你会发现很多时候网络传输的速度都很低，远低于56Kbps（通常音频电话连接支持的频率范围为300Hz到3300Hz，而一般链路典型的信噪比是30dB）（摘自中新网） 3. 结合信息论课程针对”信息”研究对象,说明怎样研究一个对象. 4. 用纠错编码基本原理分析由下列两种生成矩阵形成线性分组码的优劣 （1）

　 （2） 5. 新华社电,2008年 5月16日下午6时半，离汶川地震发生整整100个小时。虚弱得已近昏迷的刘德云被救援官兵抬出来时，看到了自己的女儿。随即，他的目光指向自己的左手腕。女儿扑上去，发现父亲左手腕上歪歪扭扭写着一句话：“我欠王老大3000元。” 请列出上面这段话中 信号、 消息、 信息。

　 三 计算编码题（本题60分）

　1. 从大量统计资料知道，男性中红绿色盲的发病率为7%，女性发病率为0.5%。（10分） （1） 若问一位女士：“你是否是色盲？”他的回答可能是“是”，可能是“否”，问这两个回答中各含多少信息量？从计算的结果得出一个什么结论？ （2） 如果问一位女士，问她回答（是或否）前平均不确定性和回答（是或否）后得到的信息量各为多少？ 2．黑白气象传真图的消息只有黑色和白色两种，即信源X={黑，白}。设黑色出现的概率为P(黑) = 0.5，白色出现的概率为P(白) = 0.5。（10分） (1) 假设图上黑白消息出现前后没有关联，求信源的H∞熵； (2) 假设消息只前后有关联，其依赖关系为P(白/白) = 0.8，P(黑/白) = 0.2，P(白/黑) = 0.4，P(黑/黑) = 0.6，求信源的H∞熵; （3) 比较上面两个H∞的大小，并说明其物理含义。

　3． 离散无记忆信源 P(x1)=8/16； P(x2)= 3/16；

　P(x3)= 4/16；

　P(x4)=1/16；（10分） (1) 计算对信源的逐个符号进行二元定长编码码长和编码效率； (2) 对信源编二进制哈夫曼码，并计算平均码长和编码效率。

　(3) 你对哈夫曼码实现新信源为等概的理解。

　4．设二元对称信道的传递矩阵为

　若P(0) = 3/4, P(1) = 1/4，求该信道的信道容量及其达到信道容量时的输入概率分布；并说明物理含义。（10分） 5．设信源通过一干扰信道，接收符号为Y = { y1, y2 }，信道转移矩阵为，求：（10分） (1) 收到消息yj (j=1)后，获得的关于xi (i=2)的信息量； (2) 信源X和信宿Y的信息熵；信道疑义度H(X/Y)和噪声熵H(Y/X)； (3) 接收到信息Y后获得的平均互信息量。

　6二元(7，4)汉明码校验矩阵H为：（10分）

　 （1）写出系统生成矩阵G，列出错误形式和伴随矢量表，你能发现他们之间有什么联系，若没有这个表怎么译码，

　（2）若收到的矢量0000011，请列出编码后发送矢量、差错矢量、和编码前信息矢量。

　一、填空题 (每空２分，共２0分) １．设Ｘ的取值受限于有限区间［a,b］，则X服从 均匀

　分布时，其熵达到最大；如X的均值为，方差受限为，则X服从 高斯 分布时，其熵达到最大。

　2．信息论不等式：对于任意实数，有，当且仅当时等式成立。

　3．设信源为X={0，1}，P（0）=1/8，则信源的熵为 比特/符号，如信源发出由m个“0”和（100-m）个“1”构成的序列，序列的自信息量为比特/符号。

　4．离散对称信道输入等概率时，输出为

　等概

　分布。

　5．根据码字所含的码元的个数，编码可分为

　定长

　 编码和

　变长

　编码。

　6．设DMS为，用二元符号表对其进行定长编码，若所编的码为{000，001，010，011，100，101}，则编码器输出码元的一维概率

　 0.747

　 ,

　0.253

　 。

　 二、简答题（30分） １． 设信源为，试求（1）信源的熵、信息含量效率以及冗余度； （2） 求二次扩展信源的概率空间和熵。

　解：

　（1）

　（2）二次扩展信源的概率空间为：

　X＼X

　1/16 3/16

　3/16 9/16

　２． 什么是损失熵、噪声熵？什么是无损信道和确定信道？如输入输出为，则它们的分别信道容量为多少？ 答：将H（X|Y）称为信道的疑义度或损失熵，损失熵为零的信道就是无损信道，信道容量为logr。

　将H（Y|X）称为信道的噪声熵，噪声熵为零的信道就是确定信道，信道容量为logs。

　３． 信源编码的和信道编码的目的是什么？ 答：信源编码的作用：

　（1）符号变换：使信源的输出符号与信道的输入符号相匹配； （2）冗余度压缩：是编码之后的新信源概率均匀化，信息含量效率等于或接近于100%。

　信道编码的作用：降低平均差错率。

　４． 什么是香农容量公式？为保证足够大的信道容量，可采用哪两种方法？ 答：香农信道容量公式：，B为白噪声的频带限制，为常数，输入X（t）的平均功率受限于。

　由此，为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。

　５． 什么是限失真信源编码？ 答：有失真信源编码的中心任务：在允许的失真范围内把编码的信息率压缩到最小。

　 三、综合题（20+15+15） １． 设随机变量和的联合概率空间为

　定义一个新的随机变量(普通乘积) （1） 计算熵H（X），H（Y），H（Z），H（XZ），H（YZ），以及H（XYZ）； （2） 计算条件熵 H（X|Y），H（Y|X），H（X|Z），H（Z|X），H（Y|Z），H（Z|Y），H（X|YZ），H（Y|XZ）以及H（Z|XY）； （3） 计算平均互信息量I（X；Y），I（X：Z），I（Y：Z），I（X；Y|Z），I（Y；Z|X）以及I（X：，Z|Y）。

　解：（1） X＼Y 0 1

　0 1/8 3/8 1/2 1 3/8 1/8 1/2

　1/2 1/2

　 （2）

　 X＼Z 0 1

　0 1/2 0 1/2 1 3/8 1/8 1/2

　7/8 1/8

　 Y＼Z 0 1

　0 1/2 0 1/2 1 3/8 1/8 1/2

　7/8 1/8

　 (3)

　２． 设二元对称信道的输入概率分布分别为，转移矩阵为， （１） 求信道的输入熵，输出熵，平均互信息量； （２） 求信道容量和最佳输入分布； （３） 求信道剩余度。

　解：（1）信道的输入熵；

　（2）最佳输入分布为，此时信道的容量为 (3)信道的剩余度：

　３． 设有ＤＭＣ，其转移矩阵为，若信道输入概率为，试确定最佳译码规则和极大似然译码规则，并计算出相应的平均差错率。

　解：

　 最佳译码规则：，平均差错率为1-1/4-1/6-1/8=11/24； 极大似然规则：，平均差错率为1-1/4-1/8-1/8=1/2。

　五、（8分）求右图所示的信道的容量及达到信道容量时的输入分布。

　 解：

　由右图可知，该信道的转移概率矩阵为 可以看到，当该信道的输入分布取时， 此时 而，此分布满足。因此这个信道的容量为 C=lb2=1（bit/符号），而达到信道容量的输入分布可取。

　 12．信息论不等式：对于任意实数，有，当且仅当时等式成立。

　3．设信源为X={0，1}，P（0）=1/8，则信源的熵为 比特/符号，如信源发出由m个“0”和（100-m）个“1”构成的序列，序列的自信息量为比特/符号。

　4．离散对称信道输入等概率时，输出为

　等概

　分布。

　5．根据码字所含的码元的个数，编码可分为

　定长

　 编码和

　变长

　编码。

　6．设DMS为，用二元符号表对其进行定长编码，若所编的码为{000，001，010，011，100，101}，则编码器输出码元的一维概率

　 0.747

　 ,

　0.253

　 。

　４． 设有ＤＭＣ，其转移矩阵为，若信道输入概率为，试确定最佳译码规则和极大似然译码规则，并计算出相应的平均差错率。

　解：

　 最佳译码规则：，平均差错率为1-1/4-1/6-1/8=11/24； 极大似然规则：，平均差错率为1-1/4-1/8-1/8=1/2 1． 信息的基本概念在于它的　不确定性　。

　2． 按照信源发出的消息在时间和幅度上的分布情况，可将信源分成

　　离散　　信源和

　 连续　

　信源两大类。

　3． 一个随机事件的　自信息量　定义为其出现概率对数的负值。

　4． 按树图法构成的码一定满足 　即时码

　的定义。

　5． 　有扰离散信道编码定理　　称为香农第二极限定理。

　6． 纠错码的检、纠错能力是指　　检测、纠正错误码元的数目　　　　。

　7． 信道一般指传输信息的物理媒介，分为　有线　　信道和　无线　信道。

　8． 信源编码的主要目的是　提高通信系统的有效性　　　。

　 得分 评卷人

　二、选择题（共10 分，每题2分）

　1. 给定xi条件下随机事件yj所包含的不确定度和条件自信息量p(yj /xi)，（D） A．数量上不等，单位不同 B．数量上不等，单位相同 C．数量上相等，单位不同 D．数量上相等，单位相同 2. 条件熵和无条件熵的关系是：

　 （C） A．H(Y/X)＜H(Y) B．H(Y/X)＞H(Y) C．H(Y/X)≤H(Y) D．H(Y/X)≥H(Y) 3. 根据树图法构成规则，

　 （D） A．在树根上安排码字 B．在树枝上安排码字 C．在中间节点上安排码字 D．在终端节点上安排码字 4. 下列说法正确的是：

　 （C） A．奇异码是唯一可译码 B．非奇异码是唯一可译码 C．非奇异码不一定是唯一可译码 D．非奇异码不是唯一可译码 5. 下面哪一项不属于熵的性质：

　 （B） A．非负性 B．完备性 C．对称性 D．确定性

　得分 评卷人

　三、名词解释（共15 分，每题5分）

　 1. 奇异码 包含相同的码字的码称为奇异码。

　 2. 码距 两个等长码字之间对应码元不相同的数目，称为码距。

　 3. 输出对称矩阵 转移概率矩阵的每一列都是第一列的置换（包含同样元素），则该矩阵称为输出对称矩阵。

　 得分 评卷人

　 三、简答题（共20 分，每题10分）

　1. 简述信息的特征。

　 答：信息的基本概念在于它的不确定性，任何已确定的事物都不含信息。

　接收者在收到信息之前，对它的内容是不知道的，所以信息是新知识、新内容。

　信息是能使认识主体对某一事物的未知性或不确定性减少的有用知识。

　信息可以产生，也可以消失，同时信息可以被携带、贮存及处理。

　信息是可以量度的，信息量有多少的差别。

　 2. 简单介绍哈夫曼编码的步骤。

　①　将信源消息符号按其出现的概率大小依次排列

　 p(x1)≥p(x2)≥…≥ p(xn) ② 取两个概率最小的符号分别配以0和1，并将这两个概率相加作为一个新符号的概率，与未分配码元的符号重新排队。

　③ 对重排后的两个概率最小符号重复步骤2的过程。

　④ 继续上述过程，直到最后两个符号配以0和1为止。

　⑤ 从最后一级开始，向前返回得到各个信源符号所对应的码元序列，即相应的码字。

　 得分 评卷人

　 四、计算题（共35 分）

　1. 设有一个二进制一阶马尔可夫信源，其信源符号为X∈(0,1)，条件概率为

　p(0/0)= p(1/0)=0.5

　p(1/1)=0.25

　p(0/1)=0.75

　 画出状态图并求出各符号稳态概率。（15分） 0.25

　0 1 0.5 0.5

　0.75

　2. 设输入符号与输出符号为X＝Y∈{0,1,2,3}，且输入符号等概率分布。设失真函数为汉明失真。求Dmax和Dmin及R(Dmax)和R(Dmin)（20分） 解：

　 失真矩阵的每一行都有0，因此Dmin=0

　一、 填空题 1. 设信源X包含4个不同离散消息，当且仅当X中各个消息出现的概率为___1/4___时，信源熵达到最大值，为__2__，此时各个消息的自信息量为__2 __。

　2.如某线性分组码的最小汉明距dmin=4，则该码最多能检测出___3____个随机错，最多能 纠正__1____个随机错。

　3.克劳夫特不等式是唯一可译码___存在___的充要条件。

　4.平均互信息量I(X;Y)与信源熵和条件熵之间的关系是___(X;Y)=H(X)-H(X/Y)___。

　5. _信源___提高通信的有效性，_信道____目的是提高通信的可靠性，_加密__编码的目的是保证通信的安全性。

　6.信源编码的目的是提高通信的

　有效性

　，信道编码的目的是提高通信的

　可靠性

　，加密编码的目的是保证通信的

　安全性

　 。

　7.设信源X包含8个不同离散消息，当且仅当X中各个消息出现的概率为__1/8__时，信 源熵达到最大值，为___3____。

　8.自信息量表征信源中各个符号的不确定度，信源符号的概率越大，其自信息量越_小___。

　9.信源的冗余度来自两个方面，一是信源符号之间的__相关性__，二是信源符号分布的 __不均匀性__。

　10.最大后验概率译码指的是 译码器要在已知r的条件下找出可能性最大的发码

　 作为译码估值

　 ，即令

　=maxP(

　|r)_ __。

　11.常用的检纠错方法有__前向纠错___、反馈重发和混合纠错三种。

　二、 单项选择题 1.下面表达式中正确的是（A

　）。

　A.

　 B. C.

　 D. 2.彩色电视显像管的屏幕上有5×105 个像元，设每个像元有64种彩色度，每种彩度又有16种不同的亮度层次，如果所有的彩色品种和亮度层次的组合均以等概率出现，并且各个组合之间相互独立。每秒传送25帧图像所需要的信道容量（C

　）。

　A. 50´106

　B. 75´106

　 C. 125´106

　D. 250´106 3.已知某无记忆三符号信源a,b,c等概分布，接收端为二符号集，其失真矩阵为d=,则信源的最大平均失真度为（ D ）。

　A. 1/3

　 B. 2/3

　 C. 3/3

　 D. 4/3

　4.线性分组码不具有的性质是（ C

　 ）。

　A.任意多个码字的线性组合仍是码字 B.最小汉明距离等于最小非0重量 C.最小汉明距离为3 D.任一码字和其校验矩阵的乘积cmHT=0 5.率失真函数的下限为（ B）。

　A .H(U)

　B.0

　C.I(U; V)

　 D.没有下限 6.纠错编码中，下列哪种措施不能减小差错概率（ D ）。

　A. 增大信道容量

　B. 增大码长

　C. 减小码率

　D. 减小带宽 7.一珍珠养殖场收获240颗外观及重量完全相同的特大珍珠，但不幸被人用外观相同但重量仅有微小差异的假珠换掉1颗。一人随手取出3颗，经测量恰好找出了假珠，不巧假珠又滑落进去，那人找了许久却未找到，但另一人说他用天平最多6次能找出，结果确是如此，这一事件给出的信息量（ A ）。

　A. 0bit

　B. log6bit

　 C. 6bit

　D. log240bit 8.下列陈述中，不正确的是（ D

　 ）。

　A.离散无记忆信道中，H（Y）是输入概率向量的凸函数 B.满足格拉夫特不等式的码字为惟一可译码 C.一般地说，线性码的最小距离越大，意味着任意码字间的差别越大，则码的检错、 纠错能力越强 D.满足格拉夫特不等式的信源是惟一可译码 9.一个随即变量x的概率密度函数P(x)= x /2，，则信源的相对熵为（ C ）。

　A . 0.5bit

　 B. 0.72bit

　 C. 1bit

　D. 1.44bit 10.下列离散信源，熵最大的是（ D ）。

　A. H（1/3,1/3,1/3）；

　 B. H（1/2,1/2）；

　C. H（0.9,0.1）；

　D. H（1/2,1/4,1/8,1/8) 11.下列不属于消息的是（ B ）。

　A.文字

　 B.信号

　 C.图像

　 D.语言 12.为提高通信系统传输消息有效性，信源编码采用的方法是（ A ）。

　A.压缩信源的冗余度

　 B.在信息比特中适当加入冗余比特 C.研究码的生成矩阵

　 D.对多组信息进行交织处理 13.最大似然译码等价于最大后验概率译码的条件是（ D ）。

　A.离散无记忆信道

　 B.无错编码

　C.无扰信道

　 D.消息先验等概 14.下列说法正确的是（

　C

　）。

　A.等重码是线性码

　B.码的生成矩阵唯一 C.码的最小汉明距离等于码的最小非0重量

　D.线性分组码中包含一个全0码字 15.二进制通信系统使用符号0和1，由于存在失真，传输时会产生误码，用符号表示下列事件，u0:一个0发出

　u1:一个1发出

　v0 :一个0收到

　 v1:一个1收到

　 则已知收到的符号，被告知发出的符号能得到的信息量是（

　A

　）。

　A. H(U/V)

　 B. H(V/U)

　C. H(U,V)

　 D. H(UV) 16. 同时扔两个正常的骰子，即各面呈现的概率都是1/6，若点数之和为12，则得到的自信息为（ B ）。

　A. －log36bit

　B. log36bit

　C. －log (11/36)bit

　D. log (11/36)bit 17.下列组合中不属于即时码的是（ A

　）。

　A. { 0，01，011}

　 B. {0，10，110}

　 C. {00，10，11}

　 D. {1，01，00} 18.已知某（6，3）线性分组码的生成矩阵，则不用计算就可判断出下列码中不是该码集里的码是（

　D

　）。

　A. 000000

　 B. 110001

　 C. 011101

　 D. 111111 19.一个随即变量x的概率密度函数P(x)= x /2，，则信源的相对熵为（

　C

　）。

　A. 0.5bit/符号

　B. 0.72bit/符号

　 C. 1bit/符号

　 D. 1.44bit/符号 20.设有一个无记忆信源发出符号A和B，已知，发出二重符号序列消息的信源，无记忆信源熵 为（

　A

　 ）。

　A.0.81bit/二重符号

　B.1.62bit/二重符号

　C.0.93 bit/二重符号

　 D .1.86 bit/二重符号

　三、 判断题 1.确定性信源的熵H(0,0,0,1)=1。

　 （ 错 ）

　 2.信源X的概率分布为P(X)={1/2, 1/3, 1/6}，对其进行哈夫曼编码得到的码是唯一的。

　 （ 错 ） 3. 离散无记忆序列信源中平均每个符号的符号熵等于单个符号信源的符号熵。

　（ 对 ） 4.非奇异的定长码一定是唯一可译码。

　（ 错 ） 5.信息率失真函数R(D)是在平均失真不超过给定失真限度D的条件下，信息率容许压缩的最小值。

　 （ 对 ） 6.信源X的概率分布为P(X)={1/2, 1/3, 1/6}，信源Y的概率分布为P(Y)={1/3,1/2,1/6}，则 信源X和Y的熵相等。

　（ 对

　）

　 7.互信息量I(X;Y)表示收到Y后仍对信源X的不确定度。

　（ 对 ） 8.对信源符号X={a1,a2,a3,a4}进行二元信源编码，4个信源符号对应码字的码长分别为K1=1，K2=2，K3=3，K3=3，满足这种码长组合的码一定是唯一可译码。

　 （ 错 ）

　9.DMC信道转移概率矩阵为，则此信道在其输入端的信源分布为P(X)={1/2,1/2}时传输的信息量达到最大值。

　 （ 错

　） 10.设C = {000000, 001011, 010110, 011101, 100111, 101100, 110001, 111010}是一个二元线性分组码，则该码最多能检测出3个随机错误。

　（错 ）

　四、名词解释 1.极限熵: 2.信道容量: 3.平均自信息量: 五、计算题 1.设离散无记忆信源

　 其发生的消息为（202120130213001203210110321010020320011223210）， （1） 根据“离散无记忆信源发出的消息序列的自信息等于消息中各个符号的自信息之

　和”，求此消息的自信息量； （2）在此消息中平均每个符号携带的信息量是多少？ 2.已知一个二元信源连接一个二元信道，如图所示。其中，。

　试求：I(X,Y)，H(X,Y)，H(X/Y)，和H(Y/X)。

　3. 设输入信号的概率分布为P=(1/2,1/2)，失真矩阵为。试求Dmin，Dmax，R(Dmin)，R(Dmax)。

　4.信源共有6个符号消息，其概率分布为={0.37，0.25，0.18，0.10，0.07，0.03}。

　（1）对这6个符号进行二进制哈夫曼编码（给出编码过程），写出相应码字，并求出平均码长和编码效率。

　（2）哈夫曼编码的结果是否唯一？如果不唯一，请给出原因。

　5.二进制通信系统使用符号0和1，由于存在失真，传输时会产生误码，用符号表示下列事件。

　x0：一个0发出；x1：一个1发出 y0：一个0收到；y1：一个1收到 给定下列概率：p(x0)=1/2，p(y0/x0)=3/4，p(y0/x1)=1/2。

　（1）求信源的熵H(X)； （2）已知发出的符号，求收到符号后得到的信息量H(Y/X)； （3）已知发出和收到的符号，求能得到的信息量H(X,Y)。

　6.设DMC信道的传输情况如下图所示。

　 （1）试写出该信道的转移概率矩阵； （2）求该信道的信道容量。

　7.设输入信号的概率分布为P=(1/2,1/2)，失真矩阵为。试求，，，。

　8.设有离散无记忆信源共有5个符号消息，其概率分布为={0.4，0.2，0.2，0.1，0.1}。

　（1）对这5个符号进行二进制哈夫曼编码（给出编码过程），写出相应码字，并求出平均码长和编码效率；

　（2）哈夫曼编码的结果是否唯一？如果不唯一，请给出原因。

　 、平均自信息为 表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。

　平均互信息 表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。

　2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。

　3、最大熵值为。

　4、通信系统模型如下：

　　　　　 5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。

　 6、只要，当N足够长时，一定存在一种无失真编码。

　7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。

　8、在认识论层次上研究信息的时候，必须同时考虑到

　形式、含义和效用 三个方面的因素。

　9、1948年，美国数学家 香农

　发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。

　按照信息的性质，可以把信息分成 语法信息、语义信息和语用信息 。

　按照信息的地位，可以把信息分成 客观信息和主观信息 。

　人们研究信息论的目的是为了 高效、可靠、安全 地交换和利用各种各样的信息。

　信息的 可度量性 是建立信息论的基础。

　统计度量 是信息度量最常用的方法。

　熵 是香农信息论最基本最重要的概念。

　事物的不确定度是用时间统计发生 概率的对数 来描述的。

　10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用 随机矢量 描述。

　11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。

　12、自信息量的单位一般有 比特、奈特和哈特 。

　13、必然事件的自信息是 0

　。

　14、不可能事件的自信息量是

　∞ 。

　 15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。

　16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量

　趋于变小

　。

　17、离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的 N倍

　。

　18、离散平稳有记忆信源的极限熵，。

　19、对于n元m阶马尔可夫信源，其状态空间共有 nm 个不同的状态。

　20、一维连续随即变量X在[a，b]区间内均匀分布时，其信源熵为 log2（b-a）

　。

　21、平均功率为P的高斯分布的连续信源，其信源熵，Hc（X）=。

　22、对于限峰值功率的N维连续信源，当概率密度 均匀分布 时连续信源熵具有最大值。

　23、对于限平均功率的一维连续信源，当概率密度 高斯分布 时，信源熵有最大值。

　24、对于均值为0，平均功率受限的连续信源，信源的冗余度决定于平均功率的限定值P和信源的熵功率 之比 。

　25、若一离散无记忆信源的信源熵H（X）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为

　3

　 。

　26、m元长度为ki，i=1，2，···n的异前置码存在的充要条件是：。

　27、若把掷骰子的结果作为一离散信源，则其信源熵为 log26 。

　28、同时掷两个正常的骰子，各面呈现的概率都为1/6，则“3和5同时出现”这件事的自信息量是 log218（1+2 log23）。

　29、若一维随即变量X的取值区间是[0，∞]，其概率密度函数为，其中：，m是X的数学期望，则X的信源熵。

　30、一副充分洗乱的扑克牌（52张），从中任意抽取1张，然后放回，若把这一过程看作离散无记忆信源，则其信源熵为

　 。

　 31、根据输入输出信号的特点，可将信道分成离散信道、连续信道、半离散或半连续 信道。

　32、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为 无记忆 信道。

　33、具有一一对应关系的无噪信道的信道容量C=

　log2n

　。

　34、强对称信道的信道容量C= log2n-Hni 。

　35、对称信道的信道容量C= log2m-Hmi 。

　36、对于离散无记忆信道和信源的N次扩展，其信道容量CN=

　NC

　。

　37、对于N个对立并联信道，其信道容量 CN =

　。

　38、多用户信道的信道容量用 多维空间的一个区域的界限 来表示。

　39、多用户信道可以分成几种最基本的类型：

　多址接入信道、广播信道 和相关信源信道。

　40、广播信道是只有 一个输入端和多个输出端 的信道。

　41、当信道的噪声对输入的干扰作用表现为噪声和输入的线性叠加时，此信道称为 加性连续信道 。

　42、高斯加性信道的信道容量C=。

　43、信道编码定理是一个理想编码的存在性定理，即：信道无失真传递信息的条件是 信息率小于信道容量 。

　44、信道矩阵代表的信道的信道容量C= 1

　。

　45、信道矩阵代表的信道的信道容量C= 1

　。

　46、高斯加性噪声信道中，信道带宽3kHz，信噪比为7，则该信道的最大信息传输速率Ct=

　9 kHz

　。

　47、对于具有归并性能的无燥信道，达到信道容量的条件是

　p（yj）=1/m）

　。

　 48、信道矩阵代表的信道，若每分钟可以传递6*105个符号，则该信道的最大信息传输速率Ct= 10kHz 。

　49、信息率失真理论是量化、数模转换、频带压缩和 数据压缩 的理论基础。

　50、求解率失真函数的问题，即：在给定失真度的情况下，求信息率的 极小值 。

　51、信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确定性就 越大 ，获得的信息量就越小。

　52、信源的消息通过信道传输后的误差或失真越大道传输消息所需的信息率 也越小 。

　53、单符号的失真度或失真函数d（xi，yj）表示信源发出一个符号xi，信宿再现yj所引起的 误差或失真 。

　54、汉明失真函数 d（xi，yj）=

　。

　55、平方误差失真函数d（xi，yj）=（yj- xi）2。

　56、平均失真度定义为失真函数的数学期望，即d（xi，yj）在X和Y的 联合概率空间P（XY）中 的统计平均值。

　57、如果信源和失真度一定，则平均失真度是 信道统计特性 的函数。

　58、如果规定平均失真度不能超过某一限定的值D，即：。我们把称为 保真度准则 。

　59、离散无记忆N次扩展信源通过离散无记忆N次扩展信道的平均失真度是单符号信源通过单符号信道的平均失真度的 N

　倍。

　60、试验信道的集合用PD来表示，则PD=

　 。

　61、信息率失真函数，简称为率失真函数，即：试验信道中的平均互信息量的 最小值 。

　62、平均失真度的下限取0的条件是失真矩阵的 每一行至少有一个零元素 。

　63、平均失真度的上限Dmax取{Dj：j=1，2，···，m}中的 最小值 。

　64、率失真函数对允许的平均失真度是 单调递减和连续的 。

　65、对于离散无记忆信源的率失真函数的最大值是

　log2n

　。

　66、当失真度大于平均失真度的上限时Dmax时，率失真函数R（D）=

　0 。

　67、连续信源X的率失真函数R（D）=

　 。

　68、当时，高斯信源在均方差失真度下的信息率失真函数为

　 。

　69、保真度准则下的信源编码定理的条件是 信源的信息率R大于率失真函数R（D） 。

　70、某二元信源其失真矩阵D=，则该信源的Dmax= a/2

　。

　71、某二元信源其失真矩阵D=，则该信源的Dmin= 0

　。

　72、某二元信源其失真矩阵D=，则该信源的R（D）=

　1-H（D/a）

　。

　73、按照不同的编码目的，编码可以分为三类：分别是 信源编码、信道编码和安全编码 。

　74、信源编码的目的是：

　提高通信的有效性 。

　75、一般情况下，信源编码可以分为 离散信源编码、连续信源编码和相关信源编码 。

　 76、连续信源或模拟信号的信源编码的理论基础是 限失真信源编码定理 。

　77、在香农编码中，第i个码字的长度ki和p（xi）之间有

　关系。

　78、对信源进行二进制费诺编码，其编码效率为 1

　。

　79、对具有8个消息的单符号离散无记忆信源进行4进制哈夫曼编码时，为使平均码长最短，应增加 2

　个概率为0的消息。

　80、对于香农编码、费诺编码和哈夫曼编码，编码方法惟一的是 香农编码 。

　81、对于二元序列0011100000011111001111000001111111，其相应的游程序列是 23652457 。

　82、设无记忆二元序列中，“0”和“1”的概率分别是p0和p1，则“0”游程长度L（0）的概率为

　 。

　83、游程序列的熵 等于

　原二元序列的熵。

　84、若“0”游程的哈夫吗编码效率为η0，“1”游程的哈夫吗编码效率为η1，且η0>η1对应的二元序列的编码效率为η，则三者的关系是 η0>η>η1

　 。

　85、在实际的游程编码过程中，对长码一般采取

　截断

　 处理的方法。

　86、“0”游程和“1”游程可以分别进行哈夫曼编码，两个码表中的码字可以重复，但 C码 必须不同。

　87、在多符号的消息序列中，大量的重复出现的，只起占时作用的符号称为 冗余位 。

　88、“冗余变换”即：将一个冗余序列转换成一个二元序列和一个 缩短了的多元序列 。

　89、L-D编码是一种 分帧传送冗余位序列 的方法。

　90、L-D编码适合于冗余位 较多或较少 的情况。

　91、信道编码的最终目的是 提高信号传输的可靠性 。

　92、狭义的信道编码即：检、纠错编码 。

　93、BSC信道即：无记忆二进制对称信道 。

　94、n位重复码的编码效率是 1/n

　。

　95、等重码可以检验 全部的奇数位错和部分的偶数位错 。

　96、任意两个码字之间的最小汉明距离有称为码的最小距dmin，则dmin=。

　97、若纠错码的最小距离为dmin，则可以纠正任意小于等于t= 个差错。

　98、若检错码的最小距离为dmin，则可以检测出任意小于等于l= dmin-1 个差错。

　99、线性分组码是同时具有 分组特性和线性特性 的纠错码。

　100、循环码即是采用 循环移位特性界定 的一类线性分组码。

　 三、判断（每题1分）（50道） 必然事件和不可能事件的自信息量都是0 。错 自信息量是的单调递减函数。对 单符号离散信源的自信息和信源熵都具有非负性。对 单符号离散信源的自信息和信源熵都是一个确定值。错 单符号离散信源的联合自信息量和条件自信息量都是非负的和单调递减的。对 自信息量、条件自信息量和联合自信息量之间有如下关系：

　对 自信息量、条件自信息量和互信息量之间有如下关系：

　对 当随即变量X和Y相互独立时，条件熵等于信源熵。对 当随即变量X和Y相互独立时，I（X；Y）=H（X） 。错 10、信源熵具有严格的下凸性。错 11、平均互信息量I（X；Y）对于信源概率分布p（xi）和条件概率分布p（yj/xi）都具有凸函数性。

　 对 12、m阶马尔可夫信源和消息长度为m的有记忆信源，其所含符号的依赖关系相同。

　 错 13、利用状态极限概率和状态一步转移概率来求m阶马尔可夫信源的极限熵。

　 对 14、N维统计独立均匀分布连续信源的熵是N维区域体积的对数。

　对 15、一维高斯分布的连续信源，其信源熵只与其均值和方差有关。

　错 16、连续信源和离散信源的熵都具有非负性。

　 错 17、连续信源和离散信源都具有可加性。

　 对 18、连续信源和离散信源的平均互信息都具有非负性。

　 对 19、定长编码的效率一般小于不定长编码的效率。

　对 20、若对一离散信源（熵为H（X））进行二进制无失真编码，设定长码子长度为K，变长码子平均长度为，一般>K。

　错 21、信道容量C是I（X；Y）关于p（xi）的条件极大值。

　对 22、离散无噪信道的信道容量等于log2n，其中n是信源X的消息个数。

　错 23、对于准对称信道，当时，可达到信道容量C。错 24、多用户信道的信道容量不能用一个数来代表。

　对 25、多用户信道的信道容量不能用一个数来代表，但信道的信息率可以用一个数来表示。错 26、高斯加性信道的信道容量只与信道的信噪有关。

　对 27、信道无失真传递信息的条件是信息率小于信道容量。对 28、最大信息传输速率，即：选择某一信源的概率分布（p（xi）），使信道所能传送的信息率的最大值。

　错 29、对于具有归并性能的无燥信道，当信源等概率分布时（p（xi）=1/n），达到信道容量。

　 错 30、求解率失真函数的问题，即：在给定失真度的情况下，求信息率的极小值。对 31、信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确定性就越小，获得的信息量就越小。

　错 32、当p（xi）、p（yj/xi）和d（xi，yj）给定后，平均失真度是一个随即变量。

　错 33、率失真函数对允许的平均失真度具有上凸性。对 34、率失真函数没有最大值。

　错 35、率失真函数的最小值是0 。对 36、率失真函数的值与信源的输入概率无关。错 37、信源编码是提高通信有效性为目的的编码。

　对 38、信源编码通常是通过压缩信源的冗余度来实现的。

　对 39、离散信源或数字信号的信源编码的理论基础是限失真信源编码定理。

　错 40、一般情况下，哈夫曼编码的效率大于香农编码和费诺编码。

　对 41、在编m（m>2）进制的哈夫曼码时，要考虑是否需要增加概率为0的码字，以使平均码长最短。

　对 42、游程序列的熵（“0”游程序列的熵与“1”游程序列的熵的和）大于等于原二元序列的熵。

　错 43、在游程编码过程中，“0”游程和“1”游程应分别编码，因此，它们的码字不能重复。

　错 44、L-D编码适合于冗余位较多和较少的情况，否则，不但不能压缩码率，反而使其扩张。

　对 45、狭义的信道编码既是指：信道的检、纠错编码。

　对 46、对于BSC信道，信道编码应当是一对一的编码，因此，消息m的长度等于码字c的长度。

　错 47、等重码和奇（偶）校验码都可以检出全部的奇数位错。

　对 48、汉明码是一种线性分组码。对 49、循环码也是一种线性分组码。

　对 50、卷积码是一种特殊的线性分组码。

　错 １．设Ｘ的取值受限于有限区间［a,b］，则X服从 均匀

　分布时，其熵达到最大；如X的均值为，方差受限为，则X服从 高斯 分布时，其熵达到最大。

　2．信息论不等式：对于任意实数，有，当且仅当时等式成立。

　3．设信源为X={0，1}，P（0）=1/8，则信源的熵为 比特/符号，如信源发出由m个“0”和（100-m）个“1”构成的序列，序列的自信息量为比特/符号。

　4．离散对称信道输入等概率时，输出为

　等概

　分布。

　5．根据码字所含的码元的个数，编码可分为

　定长

　 编码和

　变长

　编码。

　6．设DMS为，用二元符号表对其进行定长编码，若所编的码为{000，001，010，011，100，101}，则编码器输出码元的一维概率

　0.747

　 ,

　0.253

　 。

　 二、简答题（30分） 设信源为，试求（1）信源的熵、信息含量效率以及冗余度； 求二次扩展信源的概率空间和熵。

　解：

　（1）

　（2）二次扩展信源的概率空间为：

　X＼X

　1/16 3/16

　3/16 9/16

　什么是损失熵、噪声熵？什么是无损信道和确定信道？如输入输出为，则它们的分别信道容量为多少？ 答：将H（X|Y）称为信道的疑义度或损失熵，损失熵为零的信道就是无损信道，信道容量为logr。

　将H（Y|X）称为信道的噪声熵，噪声熵为零的信道就是确定信道，信道容量为logs。

　信源编码的和信道编码的目的是什么？ 答：信源编码的作用：

　（1）符号变换：使信源的输出符号与信道的输入符号相匹配； （2）冗余度压缩：是编码之后的新信源概率均匀化，信息含量效率等于或接近于100%。

　信道编码的作用：降低平均差错率。

　什么是限失真信源编码？ 答：有失真信源编码的中心任务：在允许的失真范围内把编码的信息率压缩到最小。

　 三、综合题（20+15+15） 设随机变量和的联合概率空间为

　定义一个新的随机变量(普通乘积) 计算熵H（X），H（Y），H（Z），H（XZ），H（YZ），以及H（XYZ）； 计算条件熵 H（X|Y），H（Y|X），H（X|Z），H（Z|X），H（Y|Z），H（Z|Y），H（X|YZ），H（Y|XZ）以及H（Z|XY）； 计算平均互信息量I（X；Y），I（X：Z），I（Y：Z），I（X；Y|Z），I（Y；Z|X）以及I（X：，Z|Y）。

　解：（1） X＼Y 0 1

　0 1/8 3/8 1/2 1 3/8 1/8 1/2

　1/2 1/2

　 （2）

　 X＼Z 0 1

　0 1/2 0 1/2 1 3/8 1/8 1/2

　7/8 1/8

　 Y＼Z 0 1

　0 1/2 0 1/2 1 3/8 1/8 1/2

　7/8 1/8

　 (3)

　设二元对称信道的输入概率分布分别为，转移矩阵为， 求信道的输入熵，输出熵，平均互信息量； 求信道容量和最佳输入分布； 求信道剩余度。

　解：（1）信道的输入熵；

　2）最佳输入分布为，此时信道的容量为 (3)信道的剩余度：

　设有ＤＭＣ，其转移矩阵为，若信道输入概率为，试确定最佳译码规则和极大似然译码规则，并计算出相应的平均差错率。

　解：

　最佳译码规则：，平均差错率为1-1/4-1/6-1/8=11/24； 极大似然规则：，平均差错率为1-1/4-1/8-1/8=1/2。