2013 Hadoop中国技术峰会上,51CTO记者有幸采访到Hortonworks CTO,Jeff Markham先生。Jeff是曾经与VMware,Red Hat,IBM等公司一起构建不同架构的应用,用以处理非结构化数据。

【51CTO独家特稿】在2013 China Hadoop Summit峰会上,来自Hortonworks的CTO,Jeff先生为咱们共享了YARN在大数据方面的使用。

Jeff Markham:Hadoop YARN的高可用性(hadoopyarn使用)  hadoop 第1张

Jeff首要谈到了YARN比照MESOS的一些优势。比方架构愈加简略,用户能够不必过于杂乱的规划工程。在可扩展性方面,YARN也有自己的优势。Yarn 结构相关于老的 MapReduce 结构什么优势呢?咱们能够看到:

这个规划大大减小了 JobTracker(也便是现在的 ResourceManager)的资源耗费,而且让监测每一个 Job 子使命 (tasks) 状况的程序分布式化了,更安全、更美丽。在新的 Yarn 中,ApplicationMaster 是一个可改变的部分,用户能够对不同的编程模型写自己的 AppMst,让更多类型的编程模型能够跑在 Hadoop 集群中,能够参阅hadoop Yarn 官方装备模板中的 mapred-site.xml 装备。

关于资源的表明以内存为单位 ( 在现在版别的 Yarn 中,没有考虑 cpu 的占用 ),比之前以剩下 slot 数目更合理。 老的结构中,JobTracker 一个很大的担负便是监控 job 下的 tasks 的运行状况,现在,这个部分就扔给 ApplicationMaster 做了,而 ResourceManager 中有一个模块叫做 ApplicationsMasters( 留意不是 ApplicationMaster),它是监测 ApplicationMaster 的运行状况,假如出问题,会将其在其他机器上重启。

Container 是 Yarn 为了将来作资源阻隔而提出的一个结构。这一点应该学习了 Mesos 的作业,现在是一个结构,只是供给 java 虚拟机内存的阻隔 ,hadoop 团队的规划思路应该后续能支撑更多的资源调度和操控 , 已然资源表明成内存量,那就没有了之前的 map slot/reduce slot 分隔形成集群资源搁置的为难状况。

转载请说明出处
知优网 » Jeff Markham:Hadoop YARN的高可用性(hadoopyarn使用)

发表评论

您需要后才能发表评论