hive tez报错：java.lang.OutOfMemoryError: Java heap space
·
ERROR : Vertex failed, vertexName=Map 15, vertexId=vertex_1670479589375_0012_5_18, diagnostics=[Task failed, taskId=task_1670479589375_0012_5_18_000000, diagnostics=[TaskAttempt 0 failed, info=[Error: Error while running task ( failure ) : java.lang.OutOfMemoryError: Java heap space
解决方法:
1、调大hive.tez.container.size的值，如hive.tez.container.size=20480MB ，hive.tez.java.opts=-Xmx16384m;（hive.tez.container.size的80%）
或者
（可选）tez.runtime.shuffle.memory.limit.percent 改小一点，默认是0.25 ， 如改为0.15
魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。
更多推荐
0
0- 0
已为社区贡献4条内容
所有评论(0)