信息論是人們在長期通信實踐活動中，由通信技術與概率論、隨機過程、數理統計等學科相 結合而逐步發展起來的一門新興交叉學科。而熵是信息論中事件出現概率的不確定性的量度, 能有效反映事件包含的信息。