期刊文献+
共找到73篇文章
< 1 2 4 >
每页显示 20 50 100
基于Map-Reduce的海量数据高效Skyline查询处理 认领 引用 被引量:45
1
作者 丁琳琳 信俊昌 +1 位作者 王国仁 黄山 《计算机学报》 EI CAS CSCD 北大核心 2011年第10期1785-1796,共12页
Skyline查询已成为现今数据库和信息检索领域的研究热点之一,伴随着人类可以采集和利用的数据信息的急剧增长,使得如何处理海量数据的Skyline查询成为急需解决的问题.近年来兴起的Map-Reduce编程框架能够有效地处理基于海量数据的应用,... Skyline查询已成为现今数据库和信息检索领域的研究热点之一,伴随着人类可以采集和利用的数据信息的急剧增长,使得如何处理海量数据的Skyline查询成为急需解决的问题.近年来兴起的Map-Reduce编程框架能够有效地处理基于海量数据的应用,该文既是研究如何运用Map-Reduce编程框架解决海量数据的Skyline查询问题.在Map-Reduce框架下处理Skyline查询的直接方法是扫描整个数据集进而得到查询结果,但是在海量数据Skyline查询问题中,查询结果的数量远小于原始数据集的数据量,对此该文提出了一系列的Skyline查询算法及优化,有效地过滤掉部分不能成为Skyline查询结果的数据对象,大幅度提高了在Map-Reduce框架下处理Skyline查询的效率.大量运行在Hadoop平台上的实验验证了该文所提出的Skyline查询处理算法具有良好的有效性、准确性和可用性. 展开更多
关键词 云计算 Skyline查询 Map-Reduce 海量数据 Hadoop
暂未订购 下载PDF
基于Map-Reduce模型的云资源调度方法研究 认领 引用 被引量:9
2
作者 张恒巍 韩继红 +1 位作者 卫波 王晋东 《计算机科学》 CSCD 北大核心 2015年第8期118-123,共6页
为提高Map-Reduce模型资源调度问题的求解效能,分别考虑Map和Reduce阶段的调度过程,建立带服务质量(QoS)约束的多目标资源调度模型,并提出用于模型求解的混沌多目标粒子群算法。算法采用信息熵理论来维护非支配解集,以保持解的多样性和... 为提高Map-Reduce模型资源调度问题的求解效能,分别考虑Map和Reduce阶段的调度过程,建立带服务质量(QoS)约束的多目标资源调度模型,并提出用于模型求解的混沌多目标粒子群算法。算法采用信息熵理论来维护非支配解集,以保持解的多样性和分布均匀性;在利用Sigma方法实现快速收敛的基础上,引入混沌扰动机制,以提高种群多样性和算法全局寻优能力,避免算法陷入局部最优。实验表明,算法求解所需的迭代次数少,得到的非支配解分布均匀。Map-Reduce资源调度问题的求解过程中,在收敛性和解集的多样性方面,所提算法均明显优于传统多目标粒子群算法。 展开更多
关键词 云计算 Map-Reduce 资源调度 粒子群算法 信息熵 混沌扰动
暂未订购 下载PDF
采用Map-Reduce模型的海量电能质量数据交换格式文件快速解析方案 认领 引用 被引量:16
3
作者 曲广龙 杨洪耕 张逸 《电网技术》 EI CSCD 北大核心 2014年第6期1705-1711,共7页
针对现有方案对电能质量监测系统中海量PQDIF文件解析效率低、解析时间长等问题,研究实现了一种基于集群计算架构的海量PQDIF文件快速解析方案。通过Map-Reduce模型来实现海量PQDIF文件的快速并行解析。Map-Reduce模型将数据集的大规模... 针对现有方案对电能质量监测系统中海量PQDIF文件解析效率低、解析时间长等问题,研究实现了一种基于集群计算架构的海量PQDIF文件快速解析方案。通过Map-Reduce模型来实现海量PQDIF文件的快速并行解析。Map-Reduce模型将数据集的大规模操作任务拆分成若干子任务分配给网络上的每一个计算节点(如PC机),实现多计算节点共同协调处理任务,达到提高运行效率的目的。方案采用Java和C++编写,在异构平台间具有较强的可移植性,并且可以通过增加计算节点来提高解析效率,具有较强的可扩展性。通过对海量PQDIF文件进行解析测试,结果表明该方案可以显著提高文件解析效率。 展开更多
关键词 电能质量 PQDIF文件 Map-Reduce模型 海量数据解析 Hadoop
暂未订购 下载PDF
基于关联规则的网络信息内容安全事件发现及其Map-Reduce实现 认领 引用 被引量:14
4
作者 葛琳 季新生 江涛 《电子与信息学报》 EI CAS CSCD 北大核心 2014年第8期1831-1837,共7页
针对网络中信息内容安全事件的发现问题,该文提出一种基于关联规则的多维度用户行为特征关联分析法;对于存在的虚警问题,提出了基于邦弗朗尼校正的检验准则;为满足在海量数据中的应用需求,提出了一种Map-Reduce框架下的分布式幂集Aprior... 针对网络中信息内容安全事件的发现问题,该文提出一种基于关联规则的多维度用户行为特征关联分析法;对于存在的虚警问题,提出了基于邦弗朗尼校正的检验准则;为满足在海量数据中的应用需求,提出了一种Map-Reduce框架下的分布式幂集Apriori算法。实验结果表明,该文提出的方法及相应算法,并行运算能力强,在低虚警率和漏检率的情况下,具有较好的检测率,且运行时间短,收敛速度快。 展开更多
关键词 网络安全 关联规则 信息内容安全事件 Apriori算法 邦弗朗尼校正 Map-Reduce
暂未订购 下载PDF
基于改进蛙跳策略的Map-Reduce作业调度算法 认领 引用 被引量:9
5
作者 梁静 许波 葛宇 《计算机应用研究》 CSCD 北大核心 2013年第7期1999-2002,共4页
为提高智能算法在Map-Reduce作业调度问题中的求解效率,提出一种基于改进蛙跳策略的调度算法。针对蛙跳策略在Map-Reduce作业调度中的应用,算法具体设计了编码方案和进化算子;同时,为提高算法收敛性能,对蛙跳策略进行改进:结合种群多样... 为提高智能算法在Map-Reduce作业调度问题中的求解效率,提出一种基于改进蛙跳策略的调度算法。针对蛙跳策略在Map-Reduce作业调度中的应用,算法具体设计了编码方案和进化算子;同时,为提高算法收敛性能,对蛙跳策略进行改进:结合种群多样性指标增加逆转变异操作。仿真实验结果表明,提出的改进蛙跳策略在Map-Reduce作业调度问题求解中,收敛性能、作业总完成时间和平均完成时间三个方面均优于基本蛙跳策略和已有的智能调度算法,是一种实用的Map-Reduce作业调度方案。 展开更多
关键词 蛙跳策略 Map-Reduce 作业调度 多样性 逆转变异
暂未订购 下载PDF
基于R-树索引的Map-Reduce空间连接聚集操作 认领 引用 被引量:5
6
作者 刘义 陈荦 +1 位作者 景宁 熊伟 《国防科技大学学报》 EI CAS CSCD 北大核心 2013年第1期136-141,共6页
空间连接聚集是一种常用并且非常耗时的空间数据库操作,特别是在面对大规模空间数据集时,单机运行环境难以满足其对时空开销的需求,如何设计高效的面向云计算环境中的分布式空间连接聚集算法越来越受到人们关注。Map-Reduce作为云计算... 空间连接聚集是一种常用并且非常耗时的空间数据库操作,特别是在面对大规模空间数据集时,单机运行环境难以满足其对时空开销的需求,如何设计高效的面向云计算环境中的分布式空间连接聚集算法越来越受到人们关注。Map-Reduce作为云计算的核心模式受限于其扁平化的串行扫描操作模型,常被用来加速非索引的空间连接操作,现有工作尚无将Map-Reduce和R-树索引结合来处理空间连接聚集。因此,提出了基于R-树索引的Map-Reduce空间连接聚集算法(RSJA-MR)来更高效地返回连接聚集结果。提出一种分布式R-树索引结构以支持大规模空间数据的索引,RSJA-MR算法利用分布式R-树生成任务集,任务集的执行满足无依赖并行计算模式,很容易在Map-Reduce框架中进行表达。文中提出一种实时缓存策略以支持索引并发访问。实验结果表明:相比非索引的Map-Reduce连接聚集算法,在空间交叠连接聚集查询上,时间性能最少提升8%,在空间包含连接聚集查询上,时间性能最少提升近35%。 展开更多
关键词 云计算 Map-Reduce 空间连接聚集 R-树
暂未订购 下载PDF
基于云计算Map-Reduce模型的快速碰撞检测算法 认领 引用 被引量:2
7
作者 赵伟 曲慧雁 《吉林大学学报(工学版)》 EI CAS CSCD 北大核心 2016年第2期578-584,共7页
针对人机交互系统中碰撞检测实时性、精确性的要求,本文提出了一种基于云计算模型的快速碰撞检测算法。1提出一种新的分裂平面构建OBB平衡包围盒树方法;2引入了标记遍历树概念,对进行碰撞检测的OBB任务树采用堆栈进行深度或广度遍历标记... 针对人机交互系统中碰撞检测实时性、精确性的要求,本文提出了一种基于云计算模型的快速碰撞检测算法。1提出一种新的分裂平面构建OBB平衡包围盒树方法;2引入了标记遍历树概念,对进行碰撞检测的OBB任务树采用堆栈进行深度或广度遍历标记,减少相交检测次数;3采用Map-Reduce云模型对任务树进行划分,划分后子任务采用云模型并行执行,减少了检测时间;4对每个子任务结果进行标识,将标识后的子任务作逻辑运算,通过运算结果判断是否发生了碰撞。对比实验结果表明:与经典的I-COLLIDE、MPI及Pipelining等算法相比,该算法在效率、精确性方面具有明显优势,能够满足复杂虚拟空间人机交互的实时性和精确性的要求。 展开更多
关键词 人工智能 碰撞检测 人机交互 云计算 并行技术 Map-Reduce
暂未订购 下载PDF
基于Map-Reduce的XML区间编码方案 认领 引用 被引量:1
8
作者 张换香 张晓琳 +1 位作者 刘立新 李海荣 《计算机应用与软件》 CSCD 2015年第12期257-260,共4页
将XML文档区间编码思想和云计算相结合,提出Hadoop环境下基于Map-Reduce的并行的编码方案。该方案提出PXMR算法,解决了非同一分片内节点的区间编码。实验结果表明,相对非并行区间编码,PXMR是一种并行的快速有效的编码方案。
关键词 Hadoop Map-Reduce XML 区间编码
暂未订购 下载PDF
Map-Reduce在媒资系统数据收集中的应用 认领 引用 被引量:2
9
作者 彭四伟 许伟静 《计算机工程与应用》 CSCD 2014年第20期119-123,共5页
在传统媒体资源管理系统中,数据收集工作通常是基于C/S或B/S架构设计的,这对服务器的要求比较高。为了提高服务器的性能,传统的模式就是购买更高性能的服务器,然而,近几年出现的云计算也是一个很好解决办法。采用Apache公司的Hadoop Map... 在传统媒体资源管理系统中,数据收集工作通常是基于C/S或B/S架构设计的,这对服务器的要求比较高。为了提高服务器的性能,传统的模式就是购买更高性能的服务器,然而,近几年出现的云计算也是一个很好解决办法。采用Apache公司的Hadoop Map-Reduce框架来实现数据收集功能,并通过实验,将数据收集工作在传统的单线程模式(传统实现模式)、Hadoop伪分布模式和全分布模式下所需时间进行比较,并对执行结果进行了分析。研究表明:使用Map-Reduce的这种云模式,确实可以缩短执行时间,以达到提高服务器端性能的目的。 展开更多
关键词 媒资管理系统 Map-Reduce 数据收集 hadoop单线程模式 hadoop伪分布模式 hadoop全分布模式
暂未订购 下载PDF
基于Map-Reduce框架的C4.5分布式改进算法 认领 引用 被引量:2
10
作者 廖绍雯 贾聪 《自动化与仪器仪表》 2020年第8期17-21,共5页
为了利用决策树分类算法解决大规模数据集上的分类问题,提出了一种基于经典C4.5决策树算法的分布式算法,在Map-Reduce分布式计算系统框架下,利用分布式思想构造决策树节点,解决了数据量大和数据复杂度高导致分类时运行速度慢的问题。仿... 为了利用决策树分类算法解决大规模数据集上的分类问题,提出了一种基于经典C4.5决策树算法的分布式算法,在Map-Reduce分布式计算系统框架下,利用分布式思想构造决策树节点,解决了数据量大和数据复杂度高导致分类时运行速度慢的问题。仿真结果表明,与经典C4.5算法相比,该分布式算法具有较高的分类准确率及较好的speedup、scaleup和sizeup性能。 展开更多
关键词 经典C4.5算法 大数据 分布式算法 Map-Reduce 准确率
暂未订购 下载PDF
基于Map-Reduce的向量空间约束连接路径查询方法 认领 引用
11
作者 王俊陆 张永普 +2 位作者 宋宝燕 丁琳琳 张师文 《小型微型计算机系统》 CSCD 北大核心 2018年第9期2056-2059,共4页
随着交通路网、社交网络等与空间位置有关的新型服务逐渐增多,向量空间数据规模正以极快速度增长和累积,传统数据处理技术在大规模向量空间数据上的执行效率及结果集优化等方面面临着巨大的挑战.本文提出一种基于Map-Reduce的向量空间... 随着交通路网、社交网络等与空间位置有关的新型服务逐渐增多,向量空间数据规模正以极快速度增长和累积,传统数据处理技术在大规模向量空间数据上的执行效率及结果集优化等方面面临着巨大的挑战.本文提出一种基于Map-Reduce的向量空间约束连接路径查询算法,首先,算法在向量空间上进行等边距网格划分,以距离为阈值进行约束连接;其次,利用MapReduce框架,通过节点到单元格的筛选、节点所在约束区域的筛选、单向边集合的筛选以及节点到节点的距离筛选的四阶段筛选策略找到满足约束条件的全部备选路径,从而减少大量的文本复制和路径计算过程.实验表明,本文提出的算法具有较高的执行效率和较低的误差率. 展开更多
关键词 向量空间 Map-Reduce 约束连接 路径查询
暂未订购 下载PDF
基于Map-Reduce的FP-Growth算法研究 认领 引用
12
作者 钟锐 刘立刚 《赣南师范学院学报》 2013年第6期58-61,共4页
针对FP-Growth算法在处理海量数据时需要耗费大量系统资源无法实现快速的挖掘出关联规则,提出基于Map-Reduce框架的FP-Growth算法.通过使用Map-Reduce计算框架实现FP-Growth算法对数据的并行处理,提高算法的执行效率.最后通过实验证明... 针对FP-Growth算法在处理海量数据时需要耗费大量系统资源无法实现快速的挖掘出关联规则,提出基于Map-Reduce框架的FP-Growth算法.通过使用Map-Reduce计算框架实现FP-Growth算法对数据的并行处理,提高算法的执行效率.最后通过实验证明所提出的算法在处理海量数据方面具有较好的性能. 展开更多
关键词 FP-Growth算法 云计算 Map-Reduce 并行处理
暂未订购 下载PDF
云计算环境下的改进型Map-Reduce模型 认领 引用 被引量:7
13
作者 李震 杜中军 《计算机工程》 CAS CSCD 2012年第11期27-29,37,共3页
Map-Reduce模型在分配输入文件时没有考虑集群中大量异构节点的计算性能,导致运行map任务时网络数据传送量增加。针对该问题,提出一种云计算环境下的改进型Map-Reduce模型。根据集群中大量节点计算性能不同的特点,采用最小化最大计算时... Map-Reduce模型在分配输入文件时没有考虑集群中大量异构节点的计算性能,导致运行map任务时网络数据传送量增加。针对该问题,提出一种云计算环境下的改进型Map-Reduce模型。根据集群中大量节点计算性能不同的特点,采用最小化最大计算时间的目标函数进行建模,利用遗传算法求解该模型得到分配方案。仿真结果证明了该模型的有效性。 展开更多
关键词 云计算 Map-Reduce模型 异构环境 计算性能 遗传算法
暂未订购 下载PDF
Research and implementation of scalable parallel computing based on Map-Reduce 认领 引用 被引量:1
14
作者 阮青强 沈文枫 +1 位作者 柴亚辉 徐炜民 《Journal of Shanghai University(English Edition)》 2011年第5期426-429,共4页
As a parallel programming model, Map-Reduce is used for distributed computing of massive data. Map-Reduce model encapsulates the details of parallel implementation, fault-tolerant processing, local computing and load ... As a parallel programming model, Map-Reduce is used for distributed computing of massive data. Map-Reduce model encapsulates the details of parallel implementation, fault-tolerant processing, local computing and load balancing, etc., provides a simple but powerful interface. In case of having no clear idea about distributed and parallel programming, this interface can be utilized to save development time. This paper introduces the method of using Hadoop, the open-source Map-Reduce software platform, to combine PCs to carry out scalable parallel computing. Our experiment using 12 PCs to compute N-body problem based on Map-Reduce model shows that we can get a 9.8x speedup ratio. This work indicates that the Map-Reduce can be applied in scalable parallel computing. 展开更多
关键词 Map-Reduce distributed computing N-body problem
暂未订购 下载PDF
基于Map-Reduce的电视新闻场景切分方法 认领 引用 被引量:1
15
作者 崔玉斌 宿玉文 宋征 《电视技术》 北大核心 2014年第6期91-93,96,共3页
采用Hadoop云计算的Map-Reduce架构,对大数据电视新闻类内容进行并行的语音识别和视频分析处理,以提高效率。主要提出了基于播音员语音情节连贯性的视频段合并方法以及采用码流分析的视频场景突变检测方法。提高了新媒体生产平台自动剪... 采用Hadoop云计算的Map-Reduce架构,对大数据电视新闻类内容进行并行的语音识别和视频分析处理,以提高效率。主要提出了基于播音员语音情节连贯性的视频段合并方法以及采用码流分析的视频场景突变检测方法。提高了新媒体生产平台自动剪切视频场景的准确性。满足用户在第一时间使用电视、平板电脑和手机等多屏终端,享受新媒体互动服务。 展开更多
关键词 Map-Reduce 大数据 视频场景检测 语音识别
暂未订购 下载PDF
基于Map-Reduce的自适应双语短语挖掘系统 认领 引用
16
作者 李彬 杨世泉 陈文杰 《昆明学院学报》 2013年第3期83-87,共5页
对于跨语言信息检索,统计翻译等应用,双语短语都是极其重要的资源.提出了基于自适应模式的双语短语挖掘算法,该算法可以自动的学习当前Web页面的翻译模式,然后利用学习到的模式抽取当前页面中的双语短语.同时,将自适应双语短语挖掘算法... 对于跨语言信息检索,统计翻译等应用,双语短语都是极其重要的资源.提出了基于自适应模式的双语短语挖掘算法,该算法可以自动的学习当前Web页面的翻译模式,然后利用学习到的模式抽取当前页面中的双语短语.同时,将自适应双语短语挖掘算法与Map-Reduce并行编程模型融合起来,大大提高了系统的运行效率,并且通过实验验证了该方法的有效性. 展开更多
关键词 自适应模式 双语短语 Map-Reduce并行计算框架 分布式计算
暂未订购 下载PDF
基于Map-Reduce构建高效文本聚类系统 认领 引用
17
作者 曾静静 李翔 林祥 《信息安全与通信保密》 2011年第5期98-100,共3页
互联网热点发现和舆论监控对政府公信力的提升有着重大的意义,而文本聚类技术在这些领域又有着非常广泛的应用。在当前互联网环境下,数据量之大令人匪夷所思,面对如此海量的数据,设计高效且具有良好可伸缩性的分布式处理系统就显得尤为... 互联网热点发现和舆论监控对政府公信力的提升有着重大的意义,而文本聚类技术在这些领域又有着非常广泛的应用。在当前互联网环境下,数据量之大令人匪夷所思,面对如此海量的数据,设计高效且具有良好可伸缩性的分布式处理系统就显得尤为重要。提出了把Map-Reduce这一分布式计算方法应用到文本聚类系统去,并通过相关实验证明了该方法的有效性,为构建具有高性能和高可扩展性的文本聚类系统提供了一种思路。 展开更多
关键词 文本聚类 Map-Reduce 分布式计算
暂未订购 下载PDF
基于MAP-REDUCE的大数据不一致性解决算法 认领 引用
18
作者 范令 《微型机与应用》 2015年第15期18-21,25,共4页
大数据时代悄然而至,数据质量也引起人们的关注。在提高数据质量方面,很重要的一部分是解决数据不一致性问题。针对大数据情况下的数据不一致问题,本文提出了在MAP-REDUCE框架下的聚类算法。本文在MAP-REDUCE框架下对K-MEDOIDS聚类算法... 大数据时代悄然而至,数据质量也引起人们的关注。在提高数据质量方面,很重要的一部分是解决数据不一致性问题。针对大数据情况下的数据不一致问题,本文提出了在MAP-REDUCE框架下的聚类算法。本文在MAP-REDUCE框架下对K-MEDOIDS聚类算法进行了改进,增强了算法的适用性和精确性,并通过仿真实验验证了在大数据环境下该算法的并行性和有效性。 展开更多
关键词 大数据 数据质量 数据不一致性 MAP-REDUCE 聚类算法
暂未订购 下载PDF
Map-Reduce计算模式的分析与探索 认领 引用
19
作者 杨正武 《福建电脑》 2017年第9期100-101,共2页
在互联网应用高速发展下,如何对大数据进行快速的响应和处理成为当下计算机技术所急需要解决的关键问题,研究Map-Reduce计算模型,改进和扩展其计算方式和算法,能够极大地促进和改善大数据的发展,为基于大数据基础上的各种应用奠定坚实... 在互联网应用高速发展下,如何对大数据进行快速的响应和处理成为当下计算机技术所急需要解决的关键问题,研究Map-Reduce计算模型,改进和扩展其计算方式和算法,能够极大地促进和改善大数据的发展,为基于大数据基础上的各种应用奠定坚实基础。 展开更多
关键词 Map-Reduce计算模型 互联网应用 大数据 计算方式
暂未订购 下载PDF
基于Map-Reduce的网络数据包解析与设计 认领 引用
20
作者 周丕健 《电脑编程技巧与维护》 2015年第8期77-78,共2页
网络数据包数量具大,运算时资源消耗过多等瓶颈问题,在网络数据包解析过程中经常遇到,有效地解决这些问题,引入在云计算环境下的Map-Reduce并行编程模型来进行解析,将会是一种很好的解决方式。通过对网络数据包解析的特点及Map-Reduce... 网络数据包数量具大,运算时资源消耗过多等瓶颈问题,在网络数据包解析过程中经常遇到,有效地解决这些问题,引入在云计算环境下的Map-Reduce并行编程模型来进行解析,将会是一种很好的解决方式。通过对网络数据包解析的特点及Map-Reduce模型的原理进行分析与研究,设计了一种基于Map-Reduce的网络数据包解析方案。同时在流程设计及核心函数的功能设计方面,给出了具体的设计方案。 展开更多
关键词 网络数据包解析 Map-Reduce编程模型 设计方法
暂未订购 下载PDF
上一页 1 2 4 下一页 到第
在线咨询 使用帮助 返回顶部 意见反馈