Hadoop-ResourceManager启动报local-dirs-are-bad

Posted by AlstonWilliams on February 17, 2019

有的时候,我们通过bin/yarn nodemanager启动一个NodeManager时,我们在ResourceManager的输出中,能看到这么一个错误:local-dirs are bad…

那么这个错误是由于什么导致的呢?

最常见的原因,就是NodeManager所在的机器上,可用的磁盘空间超过了max-disk-utilization-per-disk-percentage这个选项设定的默认阈值90.0%

所以,解决方案有两个:

  • 第一个是,清理机器上的磁盘空间
  • 另一个是,调大这个阈值,比如: ** yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage 98.5

</property>**

还有一种方案就是禁止NodeManager进行健康检查,但是,这样有一个缺陷,就是当你的作业长时间卡顿在那儿,你不能通过查看日志来发现到底是哪里出现了问题。所以,这种方案最好不要使用。