信息論與編碼基礎

第1章 緒論
1.1 信息的概念
1.2 信息論的形成和發展
1.3 信息論的研究范疇
1.4 通信系統模型
1.5 習題
第2章 信源和信息熵
2.1 信源的特性和分類
2.2 離散信源的信息度量
2.2.1 信息量的定義
2.2.2 自信息量
2.2.3 聯合信息量與條件自信息量
2.3 互信息量
2.3.1 互信息量的定義
2.3.2 互信息的性質
2.3.3 條件互信息和聯合互信息
2.4 信源熵
2.5 條件熵和聯合熵
2.6 熵函數的數學特性
2.7 加權熵
2.8 平均互信息量
2.9 信息不增性原理
2.10 平穩離散信源
2.10.1 離散平穩無記性信源的擴展信源
2.10.2 離散平穩信源的熵
2.10.3 馬爾可夫信源
2.10.4 信源的冗余度
2.11 連續信源
2.11.1 連續隨機變量的熵
2.11.2 最大相對熵
2.11.3 熵功率
2.12 習題
第3章 信道及信道容量
3.1 信道的數學模型和分類
3.1.1 信道的分類
3.1.2 單符號離散信道的數學模型
3.2 單符號離散信道中的熵速率與信道容量
3.2.1 離散無噪聲信道的熵速率和信道容量
3.2.2 幾種特殊離散信道的容量
3.2.3 對稱離散信道的信道容量
3.2.4 離散信道容量的一般計算方法
3.3 多符號離散信道及其信道容量
3.4 組合信道的信道容量
3.4.1 串聯信道及其信道容量
3.4.2 獨立並聯信道的信道容量
3.5 網絡信息理論
3.5.1 多址接入信道
3.5.2 廣播信道
3.5.3 相關信源的多用戶信道
3.6 連續信道及其信道容量
3.6.1 連續信道的平均互信息量
3.6.2 連續信道的熵速率與信道容量
3.6.3 連續信源的香農公式與噪聲
3.7 信道編碼定理
3.8 習題
第4章 信源編碼
4.1 編碼的定義
4.2 碼的分類
4.3 離散無失真信源編碼定理
4.4 離散信源編碼
4.4.1 香農編碼
4.4.2 費諾編碼
4.4.3 赫夫曼編碼
4.4.4 游程編碼
4.4.5 冗余位編碼
4.4.6 Lempel-Ziv編碼
4.4.7 算術編碼
4.5 習題
第5章 信道編碼
5.1 數字通信系統
5.2 信道編碼及編碼定理
5.3 信道模型
5.3.1 二進制對稱信道
5.3.2 離散無記憶信道
5.3.3 離散輸入、連續輸出信道
5.3.4 波形信道
5.4 差錯控制方式
5.5 信道編碼的分類及其基本概念
5.5.1 信道編碼的分類
5.5.2 信道編碼的基本概念
5.6 常見的幾種檢錯碼
5.6.1 奇偶校驗碼
5.6.2 水平奇偶校驗碼
5.6.3 水平垂直奇偶校驗碼
5.6.4 恆比碼
5.6.5 群計數碼
5.7 線性分組碼
5.7.1 基本概念
5.7.2 線性分組碼的編碼
5.7.3 線性分組碼的譯碼
5.8 循環碼
5.8.1 循環碼的代數結構
5.8.2 循環碼的編碼
5.8.3 循環碼的譯碼
5.9 卷積碼
5.9.1 基本原理
5.9.2 卷積碼的描述
5.9.3 卷積碼的譯碼
5.10 Turbo碼
5.10.1 Turbo碼的編碼
5.10.2 Turbo碼的譯碼
5.11 LDPC碼
5.11.1 LDPC碼的編碼
5.11.2 LDPC碼的譯碼
5.12 習題
第6章 信息率失真函數
6.1 基本概念
6.1.1 失真函數與平均失真度
6.1.2 信息率失真函數的定義
6.1.3 信息率失真函數R(D)的性質
6.2 離散信源的信息率失真函數
6.2.1 離散信源信息率失真函數的參量表達式
6.2.2 二元信源的信息率失真函數
6.2.3 離散信源R(D)函數計算
6.2.4 信息率失真函數R(D)的迭代算法
6.3 連續信源的信息率失真函數
6.4 限失真信源編碼定理
6.5 習題
第7章 信息論方法的應用
7.1 信息論方法在信號處理中的應用
7.2 信息論在其他學科領域的應用
7.2.1 信息論與博弈論
7.2.2 信息論與統計學
7.2.3 信息論與密碼學
7.3 最大熵譜與最小誤差熵估計
7.3.1 最大熵譜估計
7.3.2 最小誤差熵估計
7.4 習題
參考文獻