维普资讯 http://www.cqvip.com 匿 ． 亘 巫影 陈定方 唐小兵 朱石坚 黄映云 李庆 （武汉理工大学‘，湖北 武汉４３００６３ 海军工程大学 ，湖北 武汉４３００３３） 摘要神经网络近几十年的飞速发展，激起了不同学科与领域的科学家的浓厚兴趣。它的产生一弓－发展必将使电子 科学和信息科学发生性的变化。从神经网络的定义、特点及发展意义等方面，对神经网络进行了综述。 关键词神经网络权值输入输出 信息 中图分类号ＴＰ１８ 文献标识码 Ａ 文章编号 １００１—７３４８（２００２）０６—１３３—０２ 人类当前所面临的重大科学研究课题 互相连接而形成的复杂网络系统。虽然每个 式变换的能力，神经网络的学习过程即为慢 之一，是要解释大脑活动的机理和人类智能 神经元的结构和功能十分简单，但由大量神 过程。在该动力学过程中，神经元之间的连 的本质，制造具有类似人类智能活动能力的 经元构成的网络系统的行为确是丰富多彩 接强度将根据环境信息发生缓慢的变化，将 智能机器，开发智能应用技术。利用机器模 和十分复杂的。 环境信息逐步存储于神经网络中，这种由于 仿人类的智能是长期以来人们认识自然、改 神经网络系统是一个高度复杂的非线 连接强度的变化而形成的记忆是长久的，称 造自然和认识自身的理想。 性动力学系统，不但具有一般非线性系统的 之为长期记忆。慢过程的目标不是寻求某个 自从有了能够存储信息、运算，并能进 共性，更主要的是它还具有自己的特点，比 平衡态，而是希望形成一个具有一定结构的 行逻辑判断的电子计算机以来，计算机的功 如高维性、神经元之间的广泛互连性以及自 自组织系统，这个自组织神经网络与环境的 能和性能研究得到了飞速发展，使机器智能 适应性或自组织性等。 交互作用，把环境的统计规律反映到自身结 的研究与开发也日益受到人们的重视。 构上来。即通过与外界环境的相互作用，从 在过去的几十年里，先驱们不懈探索， ２ 神经网络的特点 外界环境中获取知识。比如联想记忆的建立 在神经生理学、心理学、控制论、信息论和认 在神经网络中发生的动力学过程有两 是一个学习过程，也是一个慢过程，它要求 知科学等一大批基础学科研究成果的基础 类：一类称之为快过程；另一类称之为慢过 改变连接强度，以把要学习的模式长期保存 上，从信息处理的角度来研究脑和机器的智 程。所谓快过程，即是神经网络的计算过程， 下来，这个刺激被系统很快地演变到平衡 能，并取得了许多可喜的进展，推动了一大 它是神经网络活跃状态的模式变换过程。神 态，因而对这个刺激的记忆是短暂的。 批相关学科的发展，其研究成果的应用也促 经网络在输入的影响下进入一定的状态，由 对于快过程与慢过程的不同处理方法 进了国民经济建设和国防科技现代化建 于神经元之间相互联系以及神经元本身的 便形成了神经网络理论研究的两种模式，即 设。 动力学性质，这种外界刺激下的兴奋模式会 所谓的学习神经网络模式和自组织模式。学 １ 神经网络的定义 迅速地演变为平衡状态。这样，具有特定结 习神经网络模式的主要特点是把慢过程与 构的神经网络就可以定义为一类模式变换， 快过程分离开。该模式把快过程看作是一个 国际著名的神经网络专家、第一个计算 而计算（知觉）过程就是通过这类模式变化 自治的动力学过程，而慢过程则是一个外加 机公司的创始人和神经网络实现技术的研 实现的。快过程是短期记忆的基础，从输入 的对神经网络的连接强度进行系统调整的 究领导人Ｈｅｃｈｔ．Ｎｉｅｌｓｏｎ给神经网络的定义 态到它邻近的某平衡态的映射是多对一的 过程。神经网络的连接强度只是一个动力学 是：“神经网络是一个以有向图为拓扑结构 映射关系。这种关系可用来实现联想存储等 习系统的变量，很显然，这种方法是无法实 的动态系统，它通过对连续或断续式的输入 功能，这种信息的存取方法具有一定的推广 现“干中学，学中干”的。 作状态响应而进行信息处理”。 能力，即可把一组邻近的输入态映射到统一 与之不同的是自组织模式。这种方法则 神经网络系统是由大量的、同时也是很 平衡态中去。 是把慢过程看作是与快过程同时进行而又 简单的处理单元（或称神经元），通过广泛地 神经网络只有通过学习才具有上述模 相互影响的一个自组织过程。它把神经网络 收稿日期：２００１—１２—２１ ２００２・６月号・科技进步与对策１３３ 维普资讯 http://www.cqvip.com 的连接强度也看作为动力学系统的变量而 不是参数，它不需要外加在系统之上的调整 连接强度的学习算法。而是建立一个统一的 输出对下一个神经元的刺激。这个加权系数 通常称为权值。 问题。而建立的对认知过程的一种定量描 述，则为神经科学家提出了一个独一无二的 机会来发展和验证大脑的工作原理。神经网 络理论的发展，推动了理论神经科学的产生 和发展，为计算神经科学提供了必要的理论 在神经网络中，修改权值的规则称为学 习算法。这也就是说权值并非固定不变的。 这样，系统就可产生所谓的“进化”。同样的， 自治动力学系统，使得学习与自适应可以自 发地进行。即在与外界环境的不断相互作用 中达到自组织，因此而积累知识和经验。更 为有意义的是，通过这种自组织，系统可以 处理单元表示什么都是可以变化的，因而就 可以用任何合适的物质来实现。 和模型。同时，也促进脑科学向定量、精确和 理论化方向发展。 不断地修正自己的知识，修正神经网络中的 知识编码。显然，这种系统可以实现“干中 学，学中干” 输出 ３ 神经网络发展的意义 神经网络是在许多学科的基础上发展 起来的，它的研究深入必然会带动其它相关 学科的发展。许多现代科学理论的创导者对 脑的功能和神经网络都有着强烈的兴趣，并 从中得到了不少启示，创导或发展了许多新 理论。 以神经网络研究为开端，整个学术界对 计算的概念和作用有了新的认识和提高。计 算并不局限于数学中，并不仅仅采取逻辑 的、离散的形式，而且大量的运算表现在对 模糊的低精度的模拟量的并行计算。对于后 一类计算，传统的计算机无法施展其威力。 神经网络的数学理论本质上是非线性的数 学理论，因此，现代非线性科学方面的进展 输入 冯・诺伊曼曾发表多次讲演，谈到计算 机和大脑在结构和功能上的异同，对它们从 元件特性到系统结构进行了详尽比较。Ｍｃ— Ｃｕｌｌｏｃｈ和Ｐｉｔｔｓ提出的形式神经元模型导致 了有限自动机理论的发展，是最终促成第一 台冯・诺伊曼电子计算机诞生的重要因素 必将推动神经网络的研究，同时，神经网络 理论也会对非线性科学提出新课题。神经网 络研究的对象是神经系统，这是高度进化的 复杂系统，也是系统科学中一个重要的具体 领域。神经网络研究不仅重视系统的动态特 性，而且强调事件和信息在系统内部的表达 和产生。 附图 一个简单的神经网络 附图表示了一个简单的神经网络，其中 的每个小圆圈表示一个神经元（也称处理元 或节点）。各个神经元之间通过相互连接形 成一个网络拓扑，这个网络拓扑的形成成为 神经网络的互连模式。不同的神经网络模式 对神经网络的结构和互连模式都有一定的 要求或，比如允许它们是多层次的、是 全互连的等等。神经网络以外的部分（即虚 线方框以外的部分）可统称为神经网络的环 境。神经网络从其所处的环境中接受信息， 对信息进行加工处理之后又返回（或作用） 到其所处的环境中去。比如一个应用于连续 语音识别的神经网络、连续的语音信号（或 之一。维纳的《控制论》一书就是专门讨论动 物和机器的控制和通信问题的。他本人对神 经系统中若干问题进行过探索，例如兴奋波 神经网络在国民经济和国防科技现代 化建设中具有广阔的应用领域和应用前 景。主要应用领域有：语音识别、图像识别与 理解、计算机视觉、智能机器人、故障机器 人、故障检测、实施语言翻译、企业管理、市 在可兴奋组织中的传导，神经系统中的节律 现象等。晚年他专心于神经控制论研究，对 感官代偿等问题抱有强烈兴趣。信息论的奠 基人香农也曾探索过人的智力放大问题。我 国著名学者钱学森在他的｛７－程控制论》中， 专辟章节论述生物体的调节控制和神经网 络问题。因此，早在２０世纪４０、５０年代，神 经系统的功能研究已经引起这些现代科学 理论开拓者的兴趣，并对他们各自理论的产 生创立理论基础。 场分析、决策优化、物资调运自适应控制、专 家系统、智能接口、神经生理学、心理学和认 知科学研究等等。随着神经网络理论研究的 预处理后的信号），便可称之为神经网络的 环境。神经网络从这个环境中接受连续的语 深入以及网络计算能力的不断拓展，神经网 络的应用领域将会不断拓展，应用水平将会 不断提高，最终达到神经网络系统可用来帮 人做事的目的，这也是神经网络研究的最终 目标。神经网络研究在近十几年取得了引人 注目的进展，从而激起了不同学科与领域的 科学家和企业家的巨大热情和浓厚的兴 趣。我们相信，神经网络将使电子科学和信 息科学产生性的变革。 （责任编辑胡俊健） 言信号，进行识别处理之后，就将结果输出 到环境中，即以屏幕显示或打字的形式反映 出来。 神经生物学家也正在期待着另一次理 论的飞跃，这将使他们能够解释已知的各种 现象，并提出可由实验室验证的假说。虽然 他们已积累了大量关于大脑组成、大脑外形 各个神经元之间的连接并不只是一个 单纯的传送信号的通道，而是在每对神经元 之问的连接上有一个加权系数，这个加权系 数起着生物神经系统中神经元的突触强度 的作用，它可以加强或减弱上一个神经元的 以及大脑运转基本要素等知识，但他们仍然 解答不了有关大脑信息处理的一些实质性 Ｓｕｍｍａｒｉｚｉｎｇ ｏｆ Ｎｅｕｒａｌｅｕｒａｌ＿ ＮｅｔｗｏｒｋＩＮ ｅｔｗ０ｒ Ａｂｓｔｒａｃｔ：Ｓｃｉｅｎｔｉｓｔｓ ｏｆ ａｌｌ ｆｉｅｌｄｓ ｆｏｒ ｉｔｓ ｄｅｖｅｌｏｐｍｅｎｔｓ ｈａｖｅ ｉｎｔｅｒｅｓｔｅｄ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ．Ｉｔ ｍｕｓｔ ｒｅｖｏｌｕｔｉｏｎｉｚｅ ｔｈｅ ｓｃｉｅｎｃｅ ｏｎ ｅｌｅｃｔｒｏｎｉｃｓ ａｎｄ ｉｎｆｏｒｍａｔｉｏｎ．Ｔｈｅ ｐａｐｅｒ ｓｕｍｍａｒｉｚｅｓ ｎｅｔｗｏｒｋ ｆｒｏｍ ｄｅｆｉｎｉｔｉｏｎ，ｐｅｃｕｌｉａｒｉｔｙ ａｎｄ ｄｅｖｅｌｏｐ ｓｉｇｎｉｉｃａｎｃｅ ｏｆ ｉｔｓ．ｆ Ｋｅｙ ｗｏｒｄｓ：ｎｅｕｒａｌ ｎｅｔｗｏｒｋ；ｗｅｉｇｈｔ ｖａｌｕｅ；ｉｎｐｕｔ ａｎｄ ｏｕｔｐｕｔ；ｉｎｆｏｒｍａｔｉｏｎ １３４科技进步与对策・６月号・２００２
