皇 皇 里 ！垦＿Ｒ 皇 里堑 竺 ｔ Ｈａｄｏｏｐ平台数据挖掘技术研究 ◆黄铭陈明 摘要：随着信息时代的不断发展，互联网产生的数据以爆炸性的态势不断增长。传统的 单片机计算机体系结构在如此大量的数据面前显得力不从心，云计算为大型数据的处理提供 了新的解决方案。Ｈａｄｏｏｐ．＠Ａｐａｃｈｅ基金会的开源项目之一，￣Ｍａ．ｐｒｅｄｕｃｅ、ＨＤＦＳ、ＨＢａｓｅ、 ｐｉｇ等于项目于一身，展示出了卓越的计算、处理与调度能力。 关键词：Ｈａｄｏｏｐ￣－台；数据挖掘；云计算 一、基￣Ｈａｄｏｏｐ的云计算平台 １．Ｈａｄｏｏｐ云计算平台。Ｈａｄｏｏｐ是ａｐａｃｈｅ提供的一个 便于编写和运行处理大数据的软件平台，ＨＤＦｓ是Ｈａｄｏｏｐ Ｄｉｓｔｒｉｂｕｔｅｄ Ｆｉｌｅ Ｓｙｓｔｅｍ的缩写，￣ＰＨａｐｏｏｐ分布式文件系统， 所谓的分布式计算存储的技术支持。云计算的发展以商业为 主导，它的核心与其说是计算不如说它是一种服务，这种服 务大规模、虚拟化、通用性的特点使其在基础设施即服务、 平台即服务、软件即服务上大量应用。 ２．云计算。云是一个强大的组合，将计算、网络、存 储、管理解决方案以业务应用全部包括其中，完善了新一代 的ＩＴ和消费服务，且不影响安全性和功能，Ｈａｄｏｏｐ的多个组 成子项目ＨＤＦＳ分布式文件系统、ＭａｐＲｅｄｕｃｅ分布式编程框 架、ＨＢｂｓｅ分布式数据库等等，这些子项目以ＨＤＦＳ为基础， 解决问题又相辅相成。 二、Ｈａｄｏｏｐ￣台数据挖掘技术的实现 Ｈａｄｏｏｐ平台采用并行计算的方法、分布式存储结构来 组成数据计算系统，并且利用成本低廉的ＰＣ机组成一个容量 大的集群，在此基础上组成一个能够储存、处理大量数据的 分布式的计算系统，从而实现大量数据的高效挖掘，最终实 现计算机的云计算。另外，Ｈａｄｏｏｐ平台采用开放式的源代 码，以方便系统的再次开发，从而能够根据更多人的需求， 更新程序，满足更多人的特定需求。 针对Ｈａｄｏｏｐ平台数据挖掘技术的实现，我们可以具体的 进行以下的设计： 首先，选一个合适的编程模型，具体来讲，可以采用 ＭａｐＲｅｄｕｃｅ的编程模型，这是一种相对简单的编程模型，在 海量数据的计算处理方面有很大的应用。同ｔｔｇＭａｐＲｅｄｕｃｅ具 有很大的优点，比如：编程简单、易于扩展、容错性比较好 等。ＭａｐＲｅｄｕｃｅ能够将？昆乱庞大的的数据系统划分为两个阶 段，即：Ｍａｐ和Ｒｅｄｕｃｅ阶段，而且在处理过程中只需要移动 计算的方式即可，利用拥有众多优点的ＭａｐＲｅｄｕｃｅ编程模型 作为设计Ｈａｄｏｏｐ平台的载体，是非常有前途的选择。 其次，根据市场需求来设计所需要的前台模块。如今市 场上无论各行各业竞争相对都比较激烈，尤其是在如今计算 机技术的飞速发展，各大高校计算机人才的扩招，国家提倡 高新技术产业发展的大背景下，计算机行业的竞争也是越来 越激烈，而想要在日益激烈的市场竞争中争得～席之地，必 须把握市场规律，掌握市场技巧，要是铲平有销路，则必须 以客户需求为导向，从客户需求出发，设计出满足客户需求 的产品。因此在设计平台的时候必须先进行用户需求分析， 在真正了解了客户需求的基础上，再进行相关软件的开发。 最后，进行Ｈａｄｏｏｐ平台具体的设计。就总体而言，在设 计基于Ｈａｄｏｏｐ平台的数据挖掘系统的时候可以采用自上而 下分层的思维模式，利用上层的系统来调用下层的系统。并 且依前段所言，要根据用户的具体需求来分层设计，且设计 的各层之间的相互的，通过调用来实现数据问的传输与 通信，之所以采用这种模式是因为这种模式具有很好的扩展 性。 在设计基于Ｈａｄｏｏｐ平台的数据挖掘系统时，主要包 括：交互层、业务应用层、数据挖掘层三个部分，具体来 讲：交互层主要的职责是完成用户与系统之间信息的传递， 可以称为其交流的窗口，交互层能够提供清晰形象的图像， 利用直观的图像信息将内容呈献给用户。业务应用层主要进 行调度、处理、控制用户层的业务，通过调用数据挖掘算法 层来进行用户层业务的处理。数据挖掘层作为整个系统的核 心，利用并行的方式完成其任务，最后把最终结果返回到业 务应用层中。 三、总结 本文站在如今互联网迅速发展，社会各界数据量越来越 庞大的现实情况下，通过分析Ｈａｄｏｏｐ平台的基本情况以及 云计算的应用与特点，设计一个基于Ｈａｄｏｏｐ平台的数据挖 掘系统来完成企业云计算的实行，最终为处理庞大冗杂的数 据提供一个切实可行的宏观方案。 参考文献 Ｉ１１李伟卫．基＠Ｈａｄｏｏｐ平台的数据挖掘技术研究ＩＤ］西北农林科技 大学，２０１３． ［２］宋伟．基于Ｈ ａｄＯＯＰ平台的数据挖掘技术研究【Ｊ］．电子制 作．２０１４，１２：７６—７７． （作者单位：四川工商职业技术学院信息工程系） 信息系统１ 程１ ２０１５．１ ２０ １０３
