徐奕奕;赵军;汤泽昆;陈阳;

• 1:广西科技大学计算机工程学院
• 2:武汉理工大学信息工程学院

摘要(Abstract)：

MapReduce的实质是将运行于大规模集群上的并行计算过程高度地抽象为两个函数(Map和Reduce).为了生成和优化Map任务视图,对输入的数据集进行预组织是其关键步骤.引入粗糙集中的知识约简思想并给出优化方案.首先对已有的复杂、大规模任务集进行迭代约简,得到任务更新后的子视图等价类,然后基于时间开销最小的任务集分别计算其最优属性,根据最优属性集删除冗余视图,最后得到优化后的任务组合视图,用于并行处理.仿真实验表明:与约简优化前相比,MapReduce算法在处理同一任务时避免了不必要的复杂性,在运行时间和运行效率上均具有较好提升.

关键词(KeyWords)： 粗糙集;MapReduce;知识约简;任务视图

Abstract:

Keywords:

基金项目(Foundation): 广西自然科学基金青年基金项目(2013GXNSFBA019268);; 校自然科学基金项目(校科自1261126);; 广西特色专业建设项目(GXTSZY217);; 广西教育厅一般项目(YB2014208);; 广西教育厅立项项目(LX2014182)资助

作者(Author): 徐奕奕;赵军;汤泽昆;陈阳;

Email:

DOI: 10.16375/j.cnki.cn45-1395/t.2014.04.021

参考文献(References)：

• [1]Tang Peihe,Xu yiyi.Resource Scheduling Strategy Based on Credibility in the Enterprise Cloud Storage[J].Journal of Convergence Information Technology,2012,7(16):393-400.
• [2]Dean J,Ghemawat S.MapReduce:Simplified Data Processing on Large Clusters[J].Communications of the ACM,2008,51(1):107-113.
• [3]马莹莹,戴牡红.数据仓库性能优化之索引和物化视图耦合方法[J].计算机应用研究,2013,30(3):835-837.
• [4]Mischa Schmidt,Jan Seedorf,Stefano Napolitano.Carey M.Experiences with Large-scale Operational Trials of ALTO-enhanced P2P Filesharing in An Intra-ISP Scenario[J].Peer-to-Peer Networking and Applications,2013,6(2):134-154.
• [5]Pawlak Z.Rough sets[J].International Journal of Computer&Infor Mation Sciences,1982,11(5):341-356.
• [6]徐柏科,李春贵,阳树洪,等.多变异自适应遗传算法特征筛选的人脸检测[J].广西工学院学报,2013,24(3):73-77
• [7]韩祯祥,张琦,文福拴.粗糙集理论及其应用综述[J].控制理论与应用,1999,16(2):153-157.
• [8]衷锦仪,叶东毅.基于模糊数风险最小化的拓展决策粗糙集模型[J].计算机科学,2014,41(3):50-55.
• [9]张鹏王,桂玲,季光,等.基于数据服务的数据组合视图的优化更新[J].计算机学报,2011,34(12):2344-2353.
• [10]欧阳浩,陈波,王萌,等.基于网格的二次K-means聚类算法[J].广西工学院学报,2012,23(1):24-27.

文章评论(Comment)：