yarn的资源优化的调整参数

2023-09-14 14:58:08

yarn的资源优化的调整参数
在这里插入图片描述

官网:
https://hadoop.apache.org/docs/r3.3.6/hadoop-yarn/hadoop-yarn-common/yarn-default.xml

没事多看官网哈

yarn.nodemanager.resource.memory-mb:用于设置NodeManager节点的总内存容量,单位为MB。根据集群的物理内存情况,适当调整该参数可以确保分配给Yarn的内存资源与集群实际可用内存一致。

yarn.nodemanager.resource.cpu-vcores:用于设置NodeManager节点的总虚拟核心数。与内存类似,根据集群的CPU资源情况进行调整,确保分配给Yarn的CPU资源与集群实际可用CPU核心数相匹配。

yarn.scheduler.minimum-allocation-mb:用于设置Yarn调度器的最小内存分配单位,单位为MB。这个参数可以决定Yarn对任务的最小内存需求,可以根据任务的特性和集群资源来进行调整。

yarn.scheduler.maximum-allocation-mb:用于设置Yarn调度器的最大内存分配单位,单位为MB。这个参数决定了Yarn对任务的最大内存需求限制,可以根据集群资源情况来进行适配。

yarn.scheduler.minimum-allocation-vcores:用于设置Yarn调度器的最小虚拟核心数分配单位。这个参数可以决定Yarn对任务的最小CPU需求,可以根据任务的特性和集群CPU资源来进行调整。

yarn.scheduler.maximum-allocation-vcores:用于设置Yarn调度器的最大虚拟核心数分配单位。这个参数决定了Yarn对任务的最大CPU需求限制,可以根据集群CPU资源情况来进行适配。

yarn.scheduler.capacity..maximum-allocation-mb:用于设置队列的最大内存分配量,如前面提到的。通过设置这个参数,可以对不同队列进行细粒度的内存控制

更多推荐

面向对象的分析与设计(精品课程)第二章作业

面向对象的分析与设计(精品课程)第二章作业一.单选题(共4题,30.4分)二.多选题(共1题,7.6分)三.填空题(共5题,38分)四.简答题(共3题,24分)一.单选题(共4题,30.4分)(单选题)UML中的事物包括结构事物、分组事物、注释事物和()。A实体事物B边界事物C控制事物D动作事物(单选题)UML中的4种

Linux设备树OF操作函数

OF操作函数我们知道Linux内核使用设备树的形式去描述芯片硬件设备节点的各种属性,设备树的树形结构可以层次化的组织这些节点属性。设备树源码属于脚本格式的文件,Linux内核无法直接使用脚本格式,所以最终使用时需要将设备树源码编译为二进制的“.dtb”格式,最终Uboot将".dtb"格式设备树传递给Linux内核使用

pdf文件可以压缩大小吗?pdf压缩方法分享

在日常生活和工作中,我们经常需要处理大量的PDF文件。有时候,一个PDF文件的大小可能超过了几十MB,甚至无法通过电子邮件发送。那么,如何有效地压缩PDF文件大小呢?本文将为你介绍三个简单易行的方法,帮助你轻松搞定PDF文件压缩大小的问题。首先,我们需要了解PDF文件的相关概念,PDF是一种可移植文档格式,可以跨平台、

Anaconda安装和配置 ---- 详细到家

安装1.打开Anaconda官网,选择对应版本,下载到对应目录即可或者进入:Indexof/anaconda/archive/|清华大学开源软件镜像站|TsinghuaOpenSourceMirror2.双击打开.exe文件,然后点击next;3.点击agree4.点击justme,然后next;5.在ChooseIn

热电偶的工作原理

当有两种不同的导体或半导体A和B组成一个回路,其两端相互连接时,只要两结点处的温度不同,一端温度为T,称为工作端或热端,另一端温度为T0,称为自由端(也称参考端)或冷端,回路中将产生一个电动势,该电动势的方向和大小与导体的材料及两接点的温度有关。这种现象称为“热电效应”,两种导体组成的回路称为“热电偶”,这两种导体称为

ruoyi框架使用自定义用户表登录

背景有的时候我们做框架升级或改造的时候,需要用到原来的部分表,比如只是用ruoyi的框架,然后登录的用户逻辑还是想用自己的表,那么接下来这边文章将介绍修改逻辑。修改教程1、SysLoginController.java大家找到这个login方法,这是controller的入口。/***登录方法**@paramlogin

ElasticSearch进阶:一文全览各种ES查询在Java中的实现

ElasticSearch进阶:一文全览各种ES查询在Java中的实现ElasticSearch进阶:一文全览各种ES查询在Java中的实现es基本语句详解查询语句详解前言ElasticSearch第一篇:ElasticSearch基础:从倒排索引说起,快速认知ES完整项目已上传至:ElasticSearchDemo项

代码随想录算法训练营第三十六天| 435. 无重叠区间 763.划分字母区间 56. 合并区间

今天的三道题目,都算是重叠区间问题,大家可以好好感受一下。都属于那种看起来好复杂,但一看贪心解法,惊呼:这么巧妙!还是属于那种,做过了也就会了,没做过就很难想出来。不过大家把如下三题做了之后,重叠区间基本上差不多了435.无重叠区间与引爆气球相似,差不多;代码随想录publicinteraseOverlapInterv

上新!100%国产物料认证,米尔入门级国产核心板全志T113-i方案

自米尔国产全志T113系列的核心板发布以来,这款高性价比、低成本、入门级、高性能的国产核心板咨询不断,配套的开发板已经成交量数百套,深受工程师们的青睐,为了集齐T113全系列的产品,这次米尔发布了基于全志T113-i处理器的核心板和开发板,让广大工程师有了更多的选择。接下来看看这款T113-i国产核心板的性能和优势。M

ETHERNET IP站转CCLKIE协议网关

产品介绍JM-EIP-CCLKIE是自主研发的一款ETHERNET/IP从站功能的通讯网关。该产品主要功能是实现CCLINKIEFB总线和ETHERNET/IP网络的数据互通。本网关连接到ETHERNET/IP总线中做为从站使用,连接到CCLINKIEFB总线中做为从站使用。产品参数技术参数l网关做为ETHERNET/

nginx 安全加固

Nginx官方容器的安全加固主要包括以下几个方面:最小化容器:尽量只包含运行应用程序所需的最小文件和依赖项。这可以减少攻击面,提高安全性。使用非root用户运行容器:默认情况下,Docker容器以root用户身份运行,这可能会带来安全风险。你可以在Dockerfile中使用USER指令来指定一个非root用户运行容器。

热文推荐