信息论基础结课论文
摘要：信息的产生与应用始终贯穿在人类进化与文明发展的整个过程中，，人类社会的生存和发展都离不开信息的获取、传递、处理、再生、控制和处理。而信息论正是一门把信息作为研究对象，以揭示信息的本质特性和规律为基础，应用概率论、随即过程和数理统计等方法来研究信息的存储、传输、处理、控制、和利用等一般规律的学科。在信息论的指导下，信息技术得到飞速发展，这使得信息论渗透到自然科学和社会科学的所有领域。数学作为基础学科，与信息论的关系十分密切。
关键字： 信息论、确立与发展、应用、与数学的联系
信息是一个十分通俗而又广泛的名词，通常是指音信、消息，它的产生与应用始终贯穿在人类进化和文明发展的整个过程中。中国古代有个《烽火戏诸侯》的故事，周幽王为了搏得褒姒的“千金一笑”而点燃了战时传递敌情的烽火来戏耍诸侯，结果失信天下，为后来西周的灭亡埋下了隐患。《三国演义》中蜀国大将关羽“大意失荆州”的原因之一就是东吴将士偷袭了荆州的烽火台，切断了烽火报信的信息源，结果荆州遭到“攻其不备”而失陷。虽然在古代信息传递非常不便，有“烽火连三月，家书抵万金”的难处，但仍然有“鸿雁捎信”、“柳絮传书”等动人的故事。由此可以看出，人类对信息的认识和利用是古已有之。在社会发展的现代生活中，从手机到个人电脑，从书本文件到卫星通信，信息几乎是在各个领域发挥着重要的作用。虽然信息技术在人类历史的进程当中随着生产力的进步而发展，但是信息理论的提出却远远落后于信息的出现，它是在近代才被提出来而形成一套完整的理论体系。
1948年美国杰出科学家香农的著名论文《通信的数学理论》的发表，标志着信息论的诞生。所以，信息论一般是指香农信息论，它是信息科学产生的基础与起点，从20世纪40年代末起，它已经经历了半个多世纪的发展。在这半个多世纪中，人类文明与科学技术经历了一个突飞猛进的发展，信息论与信息科学的发展与变化正是人类文明与科学进步的标志与见证。
自香农理论产生之后，它的发展大体经历了理论的确立与发展、理论的应用与近代史发展几个阶段。1948年到20世纪60年代是理论的确立期，在这一时期中，香农信息论完成了信息度量与通信中的基本问题结合，并对这些问题实现了严格的数学描述论证。从信息的度量到通信模型，从编码问题到主要编码的定理证明，都是在严格的数学定义与证明中完成。20世纪70、80年代，信息论处于理论发展期。由于香农理论的阐明与通信技术的发展，信息论的研究范围日益扩大，这一时期发展的主要体现在“率失真理论”与“多用户信息论”方面。20世纪90年代前后，信息论得到了迅速发展，其主要特点是理论的成功应用与多学科结合，并且在IT领域等多个领域取得显著成就。
信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科，是专门研究信息的有效处理和可靠传输的一般规律的科学，是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。它主要基本理论包括：信息的定义和度量；各类离散信源和连续信源的信息熵；有记忆、无记忆离散和连续信道的信道容量；无失真信源编码定理。通信的根本目的是将信息有效而可靠的从信源传到信宿。信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信息传输定理、信源－信道隔离定理相互联系。
信息科学是以信息为研究对象的独立学科，以信息的运动规律和应用方法为主要研究内容，以计算机等技术为主要研究工具的研究信息运动规律和应用方法，由信息论、控制论、计算机理论、人工智能理论和系统论相互渗透、相互结合而成。由于信息的广泛性与普遍性，它独立于其他自然科学与社会科学中的各门学科。
信息技术是主要用于管理和处理信息所采用的各种技术的总称，它主要应用计算机科学
和通信技术来设计、开发、安装和实施信息系统及应用软件，主要包括传感技术、计算机技术和通信技术。其由只涉及信号的结构与算法问题，而不涉及硬件设备问题的“软技术”和硬件设备技术组成，包括从原理到产品中的全部软硬件当中的各种问题。
根据定义上来讲，信息论，信息科学与信息技术之间有着一定的分工与接线，但在许多地方不能完全分隔。三者组成统一的整体才能更好的发挥信息在生活中的作用。
科学技术的发展使人类跨入了高度发展的信息化时代。在政治、军事、经济等各个领域，信息的重要性不可言喻，有关信息理论的研究正越来越受到重视。人们在自然和社会活动中，获取信息并对其进行传输、交换、处理、检测、识别、存储、显示等操作。信息论的应用范围十分广泛，一个重要特点是与其他学科交叉发展，以下介绍几种典型应用：
信息论在密码学中的应用。密码学的研究和应用虽有很长的历史，但在信息论诞生之前，它还没有系统的理论，直到香农发表的保密通信的信息理论一文，为密码学确立了一系列的基本原则与指标，如加密运算中的完全性、剩余度等指标，它们与信息的度量有着密切相关。之后才产生了基于信息论的密码学理论，所以说信息论与密码学的关系十分密切。
信息论在数据压缩理论中的应用。香农指出，任何信息都有冗余，冗余大小和信息中每个符号的出现概率或者说不确定性有关。香农把信息中排除了冗余后的平均信息量称为信息熵，并给出了计算信息熵的数学表达式，这为数据压缩奠定了理论基础。数据压缩的主要目的是力求用最少的数据表示信源所发出的信号，使信号占用 的存储空间尽可能小，以达到提高信息传输速度的目的。数据压缩在近代信息处理问题中有大量的应用，无论在数据存储或传送中，通过 数据压缩不仅可以大大节省资源利用的成本，而且把一些原来无实用 意义的技术，如多媒体技术中的一些问题，达到具有实用意义的标准。
信息论在统计与金融领域中的应用。信息论在统计中的应用一般指信息量在统计中的应用，也有编码定理与码结构在统计中的应用问题。由于统计模型的日趋复杂，信息量在统计中的作用日趋重要。在金融工程中，信息论被引入解决组合决策问题，如最优策略的递推计算、投资收益的遍历性、边信息在投资策略中的应用问题。
由这些交叉学科的发展说明，一些传统学科，如统计学、数论、几何、代数与函数论等，它们的一些内容在本质上就是信息处理问题，并且信息量的意义正在不断的发展与扩大。
数学作为自然科学之母在日常的生活和工作中不可或缺，而在计算能力、逻辑能力分析能力上更是影响极大，作为当即科技发展前沿，信息科学需要理论与实际上的数学的支持。信息论也同样如此，其中的定理的推导、算法的设计、模型的建立容量的计算问题都与数学息息相关。同时作为数学的支撑学科信息论也将数学脱离了理论，带入了生活，成为了如今社会的主要推动力，信息科学将两者紧密的联系在一起，使两者相互促进，相互补充共同发展，共同进步。
信息论是一门非常系统和理论性很强的学科，与多种学科联系紧密。信息论的创立、信息科学的基础和应用研究的开展有力地推动了信息技术的进步和信息全球化的进程，对人类社会的发展和人们生活水平的提高起到了不可磨灭的积极作用。在科学技术日新月异发展的今天，在信息论与信息科学的发展道路上，还有一个漫长的过程要走。