注意,配置这些参数前,应充分理解这几个参数的含义,以防止误配给集群带来的隐患。另外,这些参数均需要在yarn-site.xml中配置。
留意,装备这些参数前,应充沛了解这几个参数的意义,以避免误配给集群带来的危险。别的,这些参数均需求在YARN-site.xml中装备。
1. 权限相关装备参数
这儿的权限由三部分组成,分别是:(1)办理员和普通用户怎么区别 (2)服务等级的权限,比方哪些用户能够向集群提交ResourceManager提交应用程序,(3)行列等级的权限,比方哪些用户能够向行列A提交作业等。
办理员列表由参数yarn.admin.acl指定。
服务等级的权限是经过装备hadoop-policy.xml完结的,这个与Hadoop 1.0相似
行列等级的权限是由对应的资源调度器内部装备的,比方Fair Scheduler或许Capacity Scheduler等,详细阅览后边几节。
2. 日志集合相关装备参数
日志集合是YARN供给的日志中心化办理功用,它能将运转完结的Container/使命日志上传到HDFS上,然后减轻NodeManager负 载,且供给一个中心化存储和剖析机制。默许情况下,Container/使命日志存在在各个NodeManager上,假如启用日志集合功用需求额定的配 置。
(1) yarn.log-aggregation-enable
参数解说:是否启用日志集合功用。
默许值:false
(2) yarn.log-aggregation.retain-seconds
参数解说:在HDFS上集合的日志最多保存多长时间。
默许值:-1
(3) yarn.log-aggregation.retain-check-interval-seconds
参数解说:多长时间查看一次日志,并将满意条件的删去,假如是0或许负数,则为上一个值的1/10。
默许值:-1
(4) yarn.nodemanager.remote-app-log-dir
参数解说:当应用程序运转完毕后,日志被转移到的HDFS目录(启用日志集合功用时有用)。
默许值:/tmp/logs
(5) yarn.log-aggregation.retain-seconds
参数解说:长途日志目录子目录称号(启用日志集合功用时有用)。
默许值:日志将被转移到目录
${yarn.nodemanager.remote-app-log-dir}/${user}/${thisParam}下
原文链接:http://dongxicheng.org/mapreduce-nextgen/hadoop-yarn-configurations-log-aggregation/