Hadoop运行任务sqoop将hdfs文件导入mysql时一直卡在: INFO mapreduce.Job: Running job
查看nodemanager运行日志在hadoop安装路径/logs文件夹下发现node节点 日志卡在Skipping monitoring container container_1583042746449_0003_01_000005 since CPU usage is not yet available.后来在resourcemanager的主机上在etc/hadoop/yarn-site.
·
重启集群就可以继续运行了
一开始百度说
查看nodemanager运行日志
在hadoop安装路径/logs文件夹下
发现
node节点 日志卡在 Skipping monitoring container container_1583042746449_0003_01_000005 since CPU usage is not yet available.
后来在resourcemanager的主机上在etc/hadoop/yarn-site.xml中添加
<property>
<name>yarn.resourcemanager.hostname</name>
<value>填主机名</value>
</property>
在所有节点etc/hadoop/yarn-site.xml中添加
<property>
<name>yarn.nodemanager.resource.cpu-vcores</name>
<value>4</value>
</property>
修改了之后重启集群发现可以运行 以为是配置文件的问题 结果后来运行又卡住了 才发现是重启集群就可以了

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。
更多推荐
所有评论(0)