基于Hadoop的海量日志处理系统的设计与实现

admin · 发表于 2022-5-18 20:49:15

题目：

雅宝题库答案：

****此区域为收费内容**** 需支付 1 知识币后可查看，1币=0.01元查看答案

雅宝题库解析：
当今世界已经是互联网的世界，无论是像美英日这样的发达国家还是像中国印度这样的发展中国家，互联网的发展越来越快、普及程度愈来愈高。在这样一个高速发展的互联网世界里，信息量也是呈爆炸似的增长，传统的数据库和计算机系统已经不能在人类所能忍受的时间内得到我们想要的数据，因此分布式计算也就运用而生了。本文正是基于此构建一个可以存储和处理海量日志的数据处理系统，并对日志进行初步的处理，以提供给上层的web应用和数据挖掘之用。本文是建立在由Apache开发的开源的Hadoop分布式系统基础之上。由于对日志的处理任务有：日志下载和上传HDFS任务、日志转码任务、日志过滤任务、中文分词任务、多模式匹配任务、关联分析任务、数据统计任务等，这其中的任务有些可能是一个Job就能完成，但有些任务是由互相关联的一组Job才能完成，因此必须设计出一个任务调度系统来灵活、动态的调度这些任务。该任务调度系统可以将各个任务像插件一样即插即用，动态的关闭和启动某个指定个任务，并且可以对这些任务进行监控和管理。任务之间的运行关系分为并行和依赖两种关系，该系统可以灵活的处理这两种关系进而满足用户多变的需求。

基于Hadoop的海量日志处理系统的设计与实现

天涯海角也要找到Ni：基于Hadoop的海量日志处理系统的设计与实现

相关帖子

QQ微信同步：1144766066。

服务

网站

战略合作