基于MapReduce模型的作业调度系统的设计与实现

admin · 发表于 2023-10-13 21:22:08

题目：

雅宝题库答案：

****此区域为收费内容**** 需支付 1 知识币后可查看，1币=0.01元查看答案

雅宝题库解析：
随着互联网的不断发展，包括客户数据，网络日志，网站索引等在内的数据量迅猛增长。随着数据量规模的变大，分析这些数据的难度也相应增大，因此新型的大规模数据并行处理框架——MapReduce应运而生。然而在MapReduce被广泛应用于批处理数据场景的同时，许多MapReduce作业共享物理资源也必定成为一种趋势，因为这样可以将集群负载合并，机器的开销能够得到节省。在这个共享的环境中，会遇到资源管理、多用户、作业区分优先级、作业有不同的资源使用量、作业之间有相互依赖关系等题目。这就使得集群的管理、作业的调度成为了亟待解决的题目。本文基于现有分布式系统平台架构以及用户的需求，设计并实现了一种基于MapReduce模型的作业调度系统。该系统可以动态并正确地收集和分配分布式集群资源，实现了作业的周期执行、定时执行、依赖执行、完成提醒等功能，系统采用基于优先级的抢占式作业调度策略，保证了重要作业的及时顺利完成。测评结果表明，该系统易于使用、易于扩展并大幅提高了集群资源利用率。

基于MapReduce模型的作业调度系统的设计与实现

天涯海角也要找到Ni：基于MapReduce模型的作业调度系统的设计与实现

相关帖子

QQ微信同步：1144766066。

服务

网站

战略合作