信息理論試題及答案

1.畫出通信系統(tǒng)的基本模型。 2.簡(jiǎn)述信息的概念及特點(diǎn)。 3.說(shuō)明信息、消息及信號(hào)三者之間的聯(lián)系與區(qū)別。 4.敘述數(shù)據(jù)處理定理的內(nèi)容及其意義，并給 出簡(jiǎn)要證明。 5.簡(jiǎn)述香農(nóng)第一定理。 6.結(jié)合本人的具體學(xué)習(xí)情況，談?wù)剬W(xué)習(xí)信息理論課程的體會(huì)。 證明題 1.對(duì)離散信源X，設(shè) ( ) Y f X ? ，證明： ( ) ( ) H X H Y ? ，并給出等式成立的條件。 （當(dāng)且僅當(dāng)對(duì)于所有概率不為0 的 ( ) x x X ? ， f 是一一對(duì)應(yīng)的映射時(shí)，等號(hào)成立） 2.對(duì)于離散 隨機(jī)變量，證明 ? ? ? ? ? ? ? ? 1 2 1 2 N N H X X X H X H X H X ? ? ? ? 。 3.證明：當(dāng)N ? ? 時(shí)，新信源X 的符號(hào)集的概率分布 i p 趨于 1 r （等概分布）。 證明：由香農(nóng)第一定理知 ( ) 1 ( ) ( ) lo g lo g N L H s H s r N N r ? ? ? 顯然當(dāng)N ? ? 時(shí) ( ) ( ) lo g N L H s N r ? 此時(shí)信息傳輸率 ( ) ( ) ( ) lo g lo g H s H s R H s r r L ? ? ? （*） 而編碼后原信源變換成一個(gè)新信源 1 2 1 2 : r r x x x x p p p ? ? ? ? ? ? 新信源的信道容量 l o g C r ? ，且在輸入信源等概率分布時(shí)達(dá)到此信源容量。 那么由（*）式知，經(jīng) Huffman 編碼后， 信息傳輸率在N ? ? 時(shí)達(dá)到信道容量，那么很容 易推出此時(shí)的信源趨于等概分布，即： 1 i p r ? 。 計(jì)算題 1.對(duì)于一個(gè)離散的二進(jìn)制信道，信源消 息集為 ? ? 0, 1 X ? ，信宿消息集為 ? ? 0, 1 Y ? ，且 ? ? ? ? 0 1 P X P X ? ? ? ，信道傳輸概率 ? ? 1 | 0 0 . 0 5 P Y X ? ? ? ， ? ? 0 | 1 0