注意,配置这些参数前,应充分理解这几个参数的含义,以防止误配给集群带来的隐患。另外,这些参数均需要在yarn-site.xml中配置。

留意,装备这些参数前,应充沛了解这几个参数的意义,以避免误配给集群带来的危险。别的,这些参数均需求在YARN-site.xml中装备。

Hadoop YARN装备参数分析(2)—权限与日志集合相关参数(hadoop中yarn配置)  YARN 配置 第1张

1. 权限相关装备参数

这儿的权限由三部分组成,分别是:(1)办理员和普通用户怎么区别 (2)服务等级的权限,比方哪些用户能够向集群提交ResourceManager提交应用程序,(3)行列等级的权限,比方哪些用户能够向行列A提交作业等。

办理员列表由参数yarn.admin.acl指定。

服务等级的权限是经过装备hadoop-policy.xml完结的,这个与Hadoop 1.0相似

行列等级的权限是由对应的资源调度器内部装备的,比方Fair Scheduler或许Capacity Scheduler等,详细阅览后边几节。

2. 日志集合相关装备参数

日志集合是YARN供给的日志中心化办理功用,它能将运转完结的Container/使命日志上传到HDFS上,然后减轻NodeManager负 载,且供给一个中心化存储和剖析机制。默许情况下,Container/使命日志存在在各个NodeManager上,假如启用日志集合功用需求额定的配 置。

(1) yarn.log-aggregation-enable

参数解说:是否启用日志集合功用。

默许值:false

(2) yarn.log-aggregation.retain-seconds

参数解说:在HDFS上集合的日志最多保存多长时间。

默许值:-1

(3) yarn.log-aggregation.retain-check-interval-seconds

参数解说:多长时间查看一次日志,并将满意条件的删去,假如是0或许负数,则为上一个值的1/10。

默许值:-1

(4) yarn.nodemanager.remote-app-log-dir

参数解说:当应用程序运转完毕后,日志被转移到的HDFS目录(启用日志集合功用时有用)。

默许值:/tmp/logs

(5) yarn.log-aggregation.retain-seconds

参数解说:长途日志目录子目录称号(启用日志集合功用时有用)。

默许值:日志将被转移到目录

${yarn.nodemanager.remote-app-log-dir}/${user}/${thisParam}下

原文链接:http://dongxicheng.org/mapreduce-nextgen/hadoop-yarn-configurations-log-aggregation/

转载请说明出处
知优网 » Hadoop YARN装备参数分析(2)—权限与日志集合相关参数(hadoop中yarn配置)

发表评论

您需要后才能发表评论