yarn-site.xml的部分资源配置参数，主要是与内存相关
16lz
2021-01-22
vim yarn-site.xml
每个nodemanager 可分配的内存 100G: yarn.nodemanager.resource.memory-mb
每个nodemanager 可分配的CPU 20核 :yarn.nodemanager.resource.cpu-vcores
<property> <name>yarn.nodemanager.resource.memory-mb</name> <value>102400</value> <description>Amount of physical memory, in MB, that can be allocated for containers.</description> </property> <property> <name>yarn.nodemanager.resource.cpu-vcores</name> <value>20</value> <description>Number of vcores that can be allocated for containers.</description> </property>yarn.nodemanager.resource.memory-mb
表示该节点上YARN可使用的物理内存总量，默认是8192（MB），注意，如果你的节点内存资源不够8GB，则需要调减小这个值，而YARN不会智能的探测节点的物理内存总量。
yarn.nodemanager.vmem-pmem-ratio
任务每使用1MB物理内存，最多可使用虚拟内存量，默认是2.1。
yarn.nodemanager.pmem-check-enabled
是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认是true。
yarn.nodemanager.vmem-check-enabled
是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认是true。
yarn.scheduler.minimum-allocation-mb
单个任务可申请的最少物理内存量，默认是1024（MB），如果一个任务申请的物理内存量少于该值，则该对应的值改为这个数。
yarn.scheduler.maximum-allocation-mb
单个任务可申请的最多物理内存量，默认是8192（MB）。
好知识，才能预见未来
赞赏
0人进行了赞赏支持
更多相关文章
- Redis 哈希结构内存模型剖析
- 物理服务器多块硬盘故障
- 5个小技巧彻底搞懂JVM内存模型【针对3年以上Java开发】
- 小心递归中内存泄漏
- 使用内存NewSQL数据平台来处理实时数据流的三个好处
- Python在计算内存时应该注意的问题？
- 动画：老大，不好了，内存泄漏了！
- 提高内存使用效能的技巧
- Python 内存分配时的小秘密