第一代Hadoop框架有哪
发布网友
发布时间：2022-04-25 21:02
共1个回答
热心网友
时间：2022-06-17 09:39
Hadoop1.0即第一代Hadoop，由分布式存储系统HDFS和分布式计算框架MapRece组成，其中HDFS由一个NameNode和多个DateNode组成，MapRece由一个JobTracker和多个TaskTracker组成。
Hadoop2.0即第二代Hadoop为克服Hadoop1.0中的不足：针对Hadoop1.0单NameNode制约HDFS的扩展性问题，提出HDFS Federation，它让多个NameNode分管不同的目录进而实现访问隔离和横向扩展，同时彻底解决了NameNode单点故障问题；针对Hadoop1.0中的MapRece在扩展性和多框架支持等方面的不足，它将JobTracker中的资源管理和作业控制分开，分别由ResourceManager（负责所有应用程序的资源分配）和ApplicationMaster（负责管理一个应用程序）实现，即引入了资源管理框架Yarn。同时Yarn作为Hadoop2.0中的资源管理系统，它是一个通用的资源管理模块，可为各类应用程序进行资源管理和调度，不仅限于MapRece一种框架，也可以为其他框架使用，如Tez、Spark、Storm等
