博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
hadoop yarn ui applications list 研究
阅读量:4460 次
发布时间:2019-06-08

本文共 862 字,大约阅读时间需要 2 分钟。

Yarn提供的web界面可以看到applications历史数据,Yarn Web UI的列表数据如图:

这部分数据的展现方式是前台分页,意思就是比如有2w的历史数据,将一次全部加载,第一次非常慢,后续操作很快。

列表数据最终调用到org.apache.hadoop.yarn.server.resourcemanager.webapp.AppsBlock类中

在render方法中有下面代码

可以数据是从RMContext中获得的。在RMContext的实现类RMContextImpl中可以详细知道数据存在什么里面,是ConcurrentHashMap

那整个集群跑的applications的数据都放到这个Map中,时间长了,数据量上来怎么 办?有关于数量控制的配置,并在RMAppManager对这个Map的数据超过配置进行remove操作。相见如下截图

YarnConfiguration中的配置

RMAppManager中的重要代码

可以默认配置值是1w,实际经验是这个值保留平均每天作业数的2到3倍就可以,就是保留数据2,3天。不然使用1w数据确实很大,前台显示缓慢也会给resourcemanager带来不必要的压力和性能瓶颈。

可以修改yarn-site.xml中的如下配置,修改默认值1w。

<property>

  <name>yarn.resourcemanager.max-completed-applications</name>
  <value>2000</value>
</property>

另外jobhistory的数量控制参考

<property>

  <name>mapreduce.jobhistory.joblist.cache.size</name>
  <value>10</value>
</property>
etc/hadoop/mapred-site.xml

参考

转载于:https://www.cnblogs.com/xiongmaotailang/p/5779265.html

你可能感兴趣的文章
(for 循环)编程找出四位整数 abcd 中满足 (ab+cd)(ab+cd)=abcd 的数
查看>>
tomcat使用spring-loaded实现应用热部署
查看>>
boost1.53中的lock-free
查看>>
链表_leetcode203
查看>>
基于ajax 的 几个例子 session ,ajax 实现登录,验证码 ,实现ajax表单展示
查看>>
连接不上sql server服务器的解决方案
查看>>
记录安装oracle的那些事(二)之双系统安装
查看>>
c3po数据库连接池中取出连接
查看>>
bootstrap-table 分页
查看>>
使用本机IP调试web项目
查看>>
【Java面试题】58 char型变量中能不能存贮一个中文汉字?为什么?
查看>>
C++ Primer 第六章 函数
查看>>
交互设计算法基础(3) - Quick Sort
查看>>
Ubuntu各种软件的安装
查看>>
智能社的邀请码
查看>>
算法与分析 统计数字问题和整数因子分解问题?
查看>>
变量提升
查看>>
谜题88:原生类型的处理
查看>>
ajax 415 错误 $.ajax 中的contentType
查看>>
【CodeForces】191C Fools and Roads
查看>>