神经网络的研究热点分析
神经网络的研究热点分析
类别：通信网络
摘要：首先介绍了神经网络的发展、优点及其应用，然后对神经网
络目前的几个研究热点进行了分析，即神经网络与小波分析、混沌、粗集理论、分形理论的融合及其应用领域和存在的问题。分析结果表明这些融合方法具有很好的发展前景。0引言神经网络最早的研究是40年代心理学家Mcculloch和数学家Pitts合作提出的，他们提出的MP模型拉开了神经网络研究的序幕。神经网络的发展大致经过3个阶段：1947～196 9年为初期，在这期间科学家们提出了许多神经元模型和学习规则，如MP模型、HEBB学习规则和感知器等；1970～1986年为过渡期，这期间神经网络研究经过了一个低潮，继续发展。在此期间，科学家们做了大量的工作，如Hopfield教授对网络引入能量函数的概念，给出了网络的稳定性判据，提出了用于联想记忆和优化计算的途径。1984年，Hiton教授提出Bol tzman机模型；1986年Kumelhart等人提出误差反向传播神经网络，简称BP网络。目前，BP网络已成为广泛使用的网络。1987年至今为发展期，在此期间，神经网络受到国际重视，各个国家都展开研究，形成神经网络发展的另一个高潮［1］。人工神经元网络是生物神经网络的一种模拟和近似，它从结构、实现机理和功能上模拟生物神经网络。从系统观点看，人工神经元网络是由大量神经元通过极其丰富和完善的连接而构成的自适应非线性动态系统。神经网络具有以下优点：(1)具有很强的鲁棒性和容错性，这是因为信息是分布存贮于网络内的神经元中；(2)并行处理方法，人工神经元网络在结构上是并行的，而且网络的各个单元可以同时进行类似的处理过程，使得计算快速；(3)自学习、自组织、自适应性，神经元之间的连接多种多样，各元之间联接强度具有一定可塑性，使得神经网络可以处理不确定或不知道的系统；(4)可以充分逼近任意复杂的非线性关系；(5)具有很强的信息综合能力，能同时处理定量和定性的信息，能很好的协调多种输入信息关系，适用于处理复杂非线性和不确定对象。神经网络以其独特的结构和处理信息的方法，在许多实际应用领域中取得了显
著的成效，主要应用如下：(1)自动控制领域；(2)处理组合优化问题；(3)模式识别；(4)图像处理；(5)传感器信号处理；(6)机器人控制；(7)信号处理；(8)卫生保健、医疗；(9)经济；(10)化工领域；(11)焊接领域；(12)地理领域；(13)数据挖掘、电力系统、交通、军事、矿业、农业和气象等领域。 1神经网络研究热点神经网络在很多领域已得到了很好的应用，但其需要研究的方面还很多。其中，具有分布存储、并行处理、自学习、自组织以及非线性映射等优点的神经网络与其他技术的结合以及由此而来的混合方法和混合系统，已经成为一大研究热点。由于其他方法也有它们各自的优点，所以将神经网络与其他方法相结合，取长补短，继而可以获得更好的应用效果。目前这方面工作有神经网络与模糊逻辑［1～5］、专家系统［6～9］、遗传算法［10、11］、小波分析、混沌、粗集理论、分形理论、证据理论［25～27］和
灰色系统［28～33］等的融合。文中主要就神经网络与小波分析、混沌、粗集理论、分形理论的融合进行分析。1.1神经网络与小波分析的结合1981年，法国地质学家Morlet在寻求地质数据时，通过对Fourier变换与加窗Fouri er变换的异同、特点及函数构造进行创造性的研究，首次提出了“小波分析”的概念，建立了以他的名字命名的Morlet小波。1986年以来由于YMeyer、SMallat及IDaubechies等的奠基工作，小波分析迅速发展成为一门新兴学科。Meyer所著的“小波与算子”，Daubech ies所著的“小波十讲”是小波研究领域最权威的著作。小波变换是对Fourier分析方法的突破。它不但在时域和频域同时具有良好的局部化性质，而且对低频信号在频域和对高频信号在时域里都有很好的分辨率，从而可以聚集到对象的任意细节。小波分析相当于一个数学显微镜，具有放大、缩小和平移功能，通过检查不同放大倍数下的变化来研究信号的动态特性。因此，小波分析已成为地球物理、信号处理、图像处理、理论物理等诸多领域的强有力工具。小波神经网络将小波变换良好的时频局域化特性和神经网络的自学习功能相结合，因而具有较强的逼近能力和容错能力。在结合方法上，可以将小波函数作为基函数构造神经网络形成小波网络，或者小波变换作为前馈神经网络的输入前置处理工具，即以小波变换的多分辨率特性对过程状态信号进行处理，实现信噪分离，并提取出对加工误差影响最大的状态特性，作为神经网络的输入［7，12］。小波神经网络在电机故障诊断、高压电网故障信号处理与保护研
究、轴承等机械故障诊断以及许多方面都有应用，文献［13］将小波神经网络用于感应伺服电机的智能控制，使该系统具有良好的跟踪控制性能，以及好的鲁棒性，文献［14］利用小波包神经网络进行心血管疾病的智能诊断，小波层进行时频域的自适应特征提取，前向神经网络用来进行分类，正确分类率达到94%。小波神经网络虽然应用于很多方面，但仍存在一些不足。从提取精度和小波变换实时性的要求出发，有必要根据实际情况构造一些适应应用需求的特殊小波基，以便在应用中取得更好的效果。另外，在应用中的实时性要求，也需要结合DSP的发展，开发专门的处理芯片，从而满足这方面的要求。1.2混沌神经网络混沌第一个定义是上世纪70年代才被LiYorke第一次提出的。由于它具有广泛的应用价值，自它出现以来就受到各方面的普遍关注。混沌是一种确定的系统中出现的无规则的运动，混沌是存在于非线性系统中的一种较为普遍的现象，混沌运动具有遍历性、随机性等特点，能在一定的范围内按其自身规律不重复地遍历所有状态。混沌理论所决定的是非线性动力学混沌，目的是揭示貌似随机的现象背后可能隐藏的简单规律，以求发现一大类复杂问题普遍遵循的共同规律。1990年KAihara、TTakabe和MToyoda等人根据生物神经元的混沌特性首次提出混沌神经网络模型，将混沌学引入神经网络中，使得人工神经网络具有混沌行为，更加接近实际的人脑神经网络，因而混沌神经网络被认为是可实现其真实世界计算的智能信息处理系统之一，成为神经网络的主要研究方向之一。与常规的离散型Hopfield神经网络相比较，混沌神经网络具有更丰富的非线性动力学特性，主要表现如下：在神经网络中引入混沌动力学行为；混沌神经网络的同步特性；混沌神经网络的吸引子。当神经网络实际应用中，网络输入发生较大变异时，应用网络的固有容错能力往往感到不足，经常会发生失忆现象。混沌神经网络动态记忆属于确定性动力动，记忆发生在混沌吸引子的轨迹上，通过不断地运动(回忆过程)，一一联想到记忆模式，特别对于那些状态空间分布的较接近或者发生部
分重叠的记忆模式，混沌神经网络总能通过动态联想记忆加以重现和辨识，而不发生混淆，这是混沌神经网络所特有的性能，它将大大改善Hopfield神经网络的记忆能力。混沌吸引子的吸引域存在，形成了混沌神经网络固有容错功能。这将对复杂的模式识别、图像处理等工程应用发挥重要作用［15］。混沌神经网络受到关注的另一个原因是混沌存在于生物体真实神经元及神经网络中，并且起到一定的作用，动物学的电生理实验已证实了这一点。混沌神经网络由于其复杂的动力学特性，在动态联想记忆、系统优化、信息处理、
人工智能等领域受到人们极大的关注。文献［16］针对混沌神经网络具有联想记忆功能，但其搜索过程不稳定，提出了一种控制方法可以对混沌神经网络中的混沌现象进行控制。文献［17］研究了混沌神经网络在组合优化问题中的应用。为了更好的应用混沌神经网络的动力学特性，并对其存在的混沌现象进行有效的控制，仍需要对混沌神经网络的结构进行进一步的改进和调整，以及混沌神经网络算法的进一步研究。 1.3基于粗集理论的神经网络粗糙集(Rough sets)理论是1982年由波兰华沙理工大学教授ZPawlak首先提出，它是一个分析数据的数学理论，研究不完整数据、不精确知识的表达、学习、归纳等方法。粗糙集理论是一种新的处理模糊和不确定性知识的数学工具，其主要思想就是在保持分类能力不变的前提下，通过知识约简，导出问题的决策或分类规则。目前，粗糙集理论已被成功应用于机器学习、决策分析、过程控制、模式识别与数据挖掘等领域［18、19］。粗集和神经网络的共同点是都能在自然环境下很好的工作，但是，粗集理论方法模拟人类的抽象逻辑思维，而神经网络方法模拟形象直觉思维，因而二者又具有不同特点。粗集理论方法以各种更接近人们对事物的描述方式的定性、定量或者混合性信息为输入，输入空间与输出空间的映射关系是通过简单的决策表简化得到的，它考虑知识表达中不同属性的重要性确定哪些知识是冗余的，哪些知识是有用的，神经网络则是利用非线性映射的思想和并行处理的方法，用神经网络本身结构表达输入与输出关联知识的隐函数编码。在粗集理论方法和神经网络方法处理信息中，两者存在很大的两个区别：其一是神经网络处理信息一般不能将输入信息空间维数简化，当输入信息空间维数较大时，网络不仅结构复杂，而且训练时间也很长；而粗集方法却能通过发现数据间的关系，不仅可以去掉冗余输入信息，而且可以简化输入信息的表达空间维数。其二是粗集方法在实际问题的处理中对噪声较敏感，因而用无噪声的训练样本学习推理的结果在有噪声的环境中应用效果不佳。而神经网络方法有较好的抑制噪声干扰的能力。
因此将两者结合起来，用粗集方法先对信息进行预处理，即把粗集网络
作为前置系统，再根据粗集方法预处理后的信息结构，构成神经网络信息处理系统。通过二者的结合，不但可减少信息表达的属性数量，减小神经网络构成系统的复杂性，而且具有较强的容错及抗干扰能力，为处理不确定、不完整信息提供了一条强有力的途径。目前粗集与神经网络的结合已应用于语音识别、专家系统、数据挖掘、故障诊断等领域，文献［20］将神经网络和粗集用于声源位置的自动识别，文献［21］将神经网络和粗集用于专家系统的知识获取中，取得比传统专家系统更好的效果，其中粗集进行不确定和不精确数据的处理，神经网络进行分类工作。虽然粗集与神经网络的结合已应用于许多领域的研究，为使这一方法发挥更大的作用还需考虑如下问题：模拟人类抽象逻辑思维的粗集理论方法和模拟形象直觉思维的神经网络方法更加有效的结合；二者集成的软件和硬件平台的开发，提高其实用性。 1.4神经网络与分
形理论的结合自从美国哈佛大学数学系教授BBMandelbrot于20世纪70年代中期引入分形这一概念，分形几何学(Fractal geometry)已经发展成为科学的方——分形理论，且被誉为开创了20世纪数学重要阶段。现已被广泛应用于自然科学和社会科学的几乎所有领域，成为现今国际上许多学科的前沿研究课题之一［22］。由于在许多学科中的迅速发展，分形已成为一门描述自然界中许多不规则事物的规律性的学科。它已被广泛应用在生物学、地球地理学、天文学、计算机图形学等各个领域。用分形理论来解释自然界中那些不规则、不稳定和具有高度复杂结构的现象，可以收到显著的效果，而将神经网络与分形理论相结合，充分利用神经网络非线性映射、计算能力、自适应等优点，可以取得更好的效果。分形神经网络的应用领域有图像识别、图像编码、图像压缩，以及机械设备系统的故障诊断等。分形图像压缩／解压缩方法有着高压缩率和低遗失率的优点，但运算能力不强，由于神经网络具有并行运算的特点，文献［23］将神经网络用于分形图像压缩／解压缩中，提高了原有方法的运算能力。文献［24］将神经网络与分形相结合用于果实形状的识别，首先利用分形得到几种水果轮廓数据的不规则性，然后利用3层神经网络对这些数据进行辨识，继而对其不规则性进行评价。分形神经网络已取得了许多应用，但仍有些问题值得进一步研究：分形维数的物理意义；分形的计算机仿真和实际应用研究。随着研究的不断深入，分形神经网络必将得到不断的完善，并取得更好的应用效果。2结论与展望经过近半个世纪的发展，神经网络理论在模式识别、自动控制、信号处理、辅助决策、人工智能等众多研究领域取得了广泛的成功。随着人工智能技术的发展，神经网络与模糊逻辑、专家系统、遗传算法、小波、混沌、粗集、分形、证据理论、灰色系统等技术的融合已经成为智能技术的一个重要发展趋势，有着很好的发展前景，国内外在这方面已经取得了一定的成果。神经网络虽已在许多领域应用中取得了广泛的成功，但其发展还不十分成熟，还有一些问题需进一步研究。比如：神经计算的基础理论框架以及生理层面的研究仍需深入；新的模型和结构的研究；神经网络的可理解性问题；神经网络技术与其他技术更好的结合等。今后的研究应在充分利用神经网络优点的基础上，关注各个领域的新方法、新技术，发现它们之间的结合点，取长补短，并进行有效的融合，从而获得比单一方法更好的效果。除此之外，还应当加强神经网络基础理论方面的研究和在实际应用方面的研究，使其在工程应用中进一步发挥越来越大的作用，应用领域越来越广，应用水平越来越高。
