Deployment took more than 60 seconds. Please check if the requested resources are available in the YARN cluster

这个报错很明显,告诉你yarn集群的资源不足了,需要手动加大资源

加大后重启YARN cluster

TimeoutException: Timeout has occurred

yarn资源不足的问题

①调整yarn

yarn-site.xml

<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>26624</value>
</property>

②调整分配给job的内存
可以通过启动命令的参数调整

org.apache.flink.runtime.jobmanager.scheduler.NoResourceAvailableException:

没有可用的资源了
flink的安装目录下:/conf/flink-conf.yaml 添加如下配置:

taskmanager.network.memory.fraction: 0.1
taskmanager.network.memory.min: 268435456
taskmanager.network.memory.max: 4294967296

akka.remote.ReliableDeliverySupervisor

这种错误一般是 hadoop 集群资源(内存、磁盘、虚拟内存等等)不足造成的。
并且多数情况是由于分配的虚拟内存超出限制,可以关掉hadoop的检查虚拟内存,如下

<property>    
    <name>yarn.nodemanager.vmem-check-enabled</name>    
    <value>false</value>    
</property>

Slot request bulk is not fulfillable! Could not allocate the required slot within slot request timeout

无法在插槽请求超时内分配所需的插槽
解决:减少并发度或减少内存

Cannot discover a connector using option: ‘connector’=‘kafka’

原因是flink lib文件中缺少连接kafka的依赖
解决:在lib 文件中加 flink-connector-kafka_2.12-1.14.4.jar 替换相应的版本即可

.ClassNotFoundException: org.apache.kafka.clients.consumer.OffsetResetStrategy

原因是缺少kafka client
解决:在lib 文件中加 kafka-clients-2.4.1.jar 替换替换相应的版本即可

以后遇到问题再持续更新。

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐