COMP2610是信息論研究這門課程，信息表示和傳輸的基本限制。本課程介紹信息論，研究概率、信息和熵等基本概念，并考察它們在數據壓縮、編碼、通信、模式識別和概率推理等領域的應用。

一、關于信息理論

信息論又稱通信數學理論，是一種研究信息傳輸過程中數據處理和測量的方法。其創立者提出的通信過程是指信息通過確定的信道在發送方和接收方之間流動。

信息論還負責測量和表示信息，以及通信系統傳輸信息的處理能力。它也是數學概率論的一個分支。

二、信息論是如何產生的?

信息的數學理論是由數學家兼工程師克勞德-香農和生物學家沃倫-韋弗于 1949 年提出的。然而，它是安德烈-馬爾科維和拉爾夫-哈特利等科學家近三十年前的研究成果;后者因是二進制語言的首批代表人物之一而聞名于世。

阿蘭-圖靈的貢獻在于，他為能夠通過發射符號來處理數據的機器繪制了藍圖，為后來被稱為 "通信數學理論 "的發展、頂峰和神圣化開創了最后的先河。

當時所有的研究都有一個共同的目標：找到有效利用通信信道的方法，在不影響接收信息質量的情況下通過信道發送信息。

三、信息論有哪些要素?

信息源或發送者：能夠發布信息的一方。在信息論中，主要的信息源有

隨機：當信息無法預測時。

結構化：存在一定程度的冗余和秩序。

非結構化：當所有信息都是隨機的、不相關的、無意義的，因此會損失部分信息。

信息：通過信道傳輸的一組數據。

代碼：一組遵循一定規則組合起來的元素，以便于解釋。

信道：傳輸信息以便信息到達接收者的媒介。

信息：發送者試圖通過信息傳達的內容。從信息論的理論框架--數學概率的角度來看，信息應與識別信息所需的比特數成正比。

接收者：接收信息的一方。能夠吸收來自信息源或發送者的信息內容至關重要。

噪音：在信息流動過程中阻礙信息正常到達的各種原因，妨礙接收者完全理解信息。

四、信息論的一般方法有哪些?

它使我們能夠研究信息過程，如可能的通信渠道和了解發送的數據。

它能確定最簡單、最有效的方式，在不改變任何過程的情況下發送信息。

它能識別信息失真或受阻的因素，從而以最佳方式將信息送達收件人。

它規定發送方和接收方都必須能夠對信息進行編碼和解碼。

它分析信息傳輸的速度。

它包括信息具有多重含義的可能性，因此，只要收件人與發件人擁有相同的編碼，收件人就能賦予信息含義。

如果信息的選擇僅為兩個選項之一，則信息的值等于 1(稱為比特的單位)。為了使信息成為一個比特，在這一過程中必須有同樣可能的備選方案。此外，它還指出，備選方案越多，信息量就越大，而且所有備選方案的可能性都相同。

海馬課堂專業課程輔導，2100+嚴選碩博學霸師資，針對學生的薄弱科目和學校教學進度，匹配背景相符的導師，根據學生情況進行1V1專屬備課，上課時間靈活安排，中英雙語詳細講解課程中的考點、 難點問題，并提供多方位的課后輔導，輔助學生掌握全部課程知識，補足短板。