魔乐社区

魔乐社区

社区官网工具模型库数据集体验空间

去全站搜索看看？

登录社区云

登录社区云，与社区用户共同成长

魔乐社区

邀请您加入社区

欢迎加入社区

欢迎加入社区

flink

flink CEP 不输出问题

flink cep 任务不输出

 qq_30366667
2023-02-24 11:07:15

 499

 2

#flink
flink入门_flink简单学习_flink初识

flink入门学习flink 简单入手flink使用flink如何使用

 大宁哥
2022-09-29 23:15:16

 1308

 3

#flink #学习 #scala
flink sql java.lang.UnsupportedOperationException: class org.apache.calcite.sql.SqlIdentifier: json

java.lang.UnsupportedOperationException: class org.apache.calcite.sql.SqlIdentifier: json原因表字段类型是 json , flink 不支持；改为 string解决转载出处：https://www.saoniuhuo.com/question/detail-1911817.html?sort=hot

cg6
2022-02-24 14:50:37

 2182

#flink #sql #kafka
CDH6 集成flink1.9.0及测试

1、准备工作到 https://archive.cloudera.com/csa/1.0.0.0/下载相应的csd文件和parcels文件到本地FLINK-1.9.0-csa1.0.0.0-cdh6.3.0-el7.parcelFLINK-1.9.0-csa1.0.0.0-cdh6.3.0-el7.parcel.shamanifest.json(可以直接替换,也可以先将原来的移走)将上面三个放到/

Hub-Link
2020-11-21 10:56:35

 1015

#flink #cloudera
30.flink table 中的数据类型映射

flinkTable中的所有数据类型都是class封装的，在这之中有一个基类： org.apache.flink.table.types.DataType，所有的类型都是该类的实现类。除此之外Flinktable还提供了一个final类型的类，该类提供了大量的静态方法可以指定访问实现了 org.apache.flink.table.types.DataType接口的真正实现类，这个final类型

 鱼非鱼子非子
2022-10-02 01:02:34

 3461

#flink #java #jvm
flink实时数据问题记录解决

数据倾斜无论是在离线还是实时中都会遇到，其定义是：在并行进行数据处理的时候，按照某些key划分的数据显著多余其他部分，分布不均匀，导致大量数据集中分布到一台或者某几台计算节点上，使得该部分的处理速度远低于平均计算速度，成为整个数据集处理的瓶颈，从而影响整体计算性能。造成数据倾斜的原因有很多种，如group by时的key分布不均匀，空值过多、count distinct等，本文将只介绍group

hzp666
2024-07-04 17:12:04

 665

#flink
flink采用thrift读取tablets一个天坑

原先的配置[INFO] StarRocksSourceBeReader [open Scan params.mem_limit 8589934592 B][INFO] StarRocksSourceBeReader [open Scan params.query-timeout-s 600 s][INFO] StarRocksSourceBeReader [open Scan params.k..

AskHarries
2023-07-27 08:55:15

 1375

 1

#flink #大数据 #java +2
Flink架构及工作原理

System Architecture分布式系统需要解决：分配和管理在集群的计算资源、处理配合、持久和可访问的数据存储、失败恢复。Fink专注分布式流处理。Components of a Flink SetupJobManager ：接受application，包含StreamGraph（DAG）、JobGraph（logical dataflow graph，已经进过优化，如task chain

hellozhxy
2021-09-07 17:13:13

 920

 1

#flink #big data #运维
nc+flink模拟消费kafka

k<通信端口>强制 nc 待命链接.当客户端从服务端断开连接后，过一段时间服务端也会停止监听。但通过选项 -k 我们可以强制服务器保持连接并继续监听端口。-l 开启监听模式，用于指定nc将处于监听模式。通常这样代表着为一个服务等待客户端来链接指定的端口。Flink程序订阅对应端口的socket流，模拟消费kafka数据。-p<通信端口> 设置本地主机使用的通信端口。中，命令nc -lk 和n

0_nujiyuh
2023-06-18 00:10:17

 317

#flink #kafka
生产事故：flink任务造成kafka连接泄漏导致kafka集群挂了！！！

1、问题背景为保障系统大促期间稳定运行，计划进行全链路生产压测。2、问题现象1》压测期间产生大量事后数据流向flink实时计算环节，flink任务消费的kafka出现堆积而产生告警。2》通过flink监控平台查看日志发现flink任务频繁重启失败，checkpoint save失败。3》通过kafka平台监控发现，flink任务连接kafka的连接数不断攀升，即kafka连接泄漏。4》短时间内所有

 MCpang
2021-06-16 11:54:42

 1580

 1

#kafka #flink #java +1
flink standalone集群模式部署

1、下载并安装jdk112、下载flink 并解压3、确保服务器之间的免密登录。

weixin_39477597
2025-04-03 20:46:25

 734

 4

#flink #大数据 #服务器
在Centos7上搭建Flink1.15.0的Standalone分布式集群

vi /root/.bashrc(在bigdata002/3也要操作)执行测试程序(在bigdata001操作)

Bulut0907
2022-07-11 09:15:17

 1005

#flink
Flink（20）：Flink之分布式缓存

0. 相关文章链接1. Flink中分布式缓存概述Flink提供了一个类似于Hadoop的分布式缓存，让并行运行实例的函数可以在本地访问。这个功能可以被使用来分享外部静态的数据，例如：机器学习的逻辑回归模型等。广播变量是将变量分发到各个TaskManager节点的内存上，分布式缓存是将文件缓存到各个TaskManager节点上。2. 编码步骤注册一个分布式缓存文件：env.registerCach

电光闪烁
2021-07-11 23:30:26

 2422

 2

#大数据 #flink
flinkSQL 建表设置水位线时间格式转换 & flinkSQl滚动窗口

flinkSQL 建表设置水位线时间格式转换 & flinkSQl滚动窗口

 @anSon_
2022-08-30 14:58:37

 1420

 2

#kafka #flink #sql +2
flink窗口聚合函数之aggregateFuction学习

因为是分布式计算，累加器在多台机器++，然后最后会聚合一次。或者我们需要的累加值，其实这里和spark的累加器好像是一个意思。所以还是用个tuple，上面也说了uv用set ，pv用int 所以 tuple注意来一个event 就要累加一次，我们既要存uv的信息也要存pv的信息。out 用个tuple。案例-同时计算uv 和pv为, uv是用户访问量，pv是页面点击量。每来一条记录数据+1 所以

 cclovezbf
2022-09-23 16:29:49

 1276

#flink #java
flink 单作业模式部署提交作业爆:Trying to access closed classloader. Please check if you store classloaders direc

报错信息:Exception in thread "Thread-5" java.lang.IllegalStateException: Trying to access closed classloader. Please check增加：classloader.check-leaked-classloader: false ，保存后重启任务即可。您可以使用配置“classloader.ch

力不竭!!!战不止!!!
2022-11-08 22:02:40

 4946

 3

#flink #java #大数据
java flink 写入 hdfs demo

给大家整理了一些有关【Java,HDFS】的项目学习资料（附讲解～～）：https://edu.51cto.com/course/35714.htmlhttps://edu.51cto.com/course/31545.html使用 Apache Flink 写入 HDFS 的简单示例Apache Flink 是一个...

壕哥有话要说
2024-08-01 04:50:34

 351

#java #flink #hdfs +2
flink datastream api 使用示例

kafka --> elasticsearchflink版本1.10设置初始化参数ParameterTool parameter_tool = ParameterTool.fromArgs(args);String config_path = parameter_tool.get("ConfigPath");String source_topic = "my-topic";String so

longoku
2021-03-16 17:54:18

 228

#flink #kafka #elasticsearch
CDH flink命令行启动yarn-session报错java.lang.NoClassDefFoundError: Could not initialize class org.apache.ha

系统环境错误排查./bin/yarn-session.sh2020-07-09 11:22:01,187 INFOorg.apache.flink.configuration.GlobalConfiguration- Loading configuration property: gateway-port, 02020-07-09 11:22:01,327 ERROR org.apache.fli

bertramlau
2020-07-09 13:50:59

 5039

#flink #hadoop #cloudera
flink 总结问题

1、 Flink-1.12.1Windows启动报错使用命令/bin/start-cluster.sh启动，但查看进程未启动成功查看 flink-zhengqianjin-standalonesession-9-LAPTOP-KTEB7TSJ.out 日志中出现Error: Could not create the Java Virtual Machine.Error: A fatal excep

zhengqianjin
2021-02-22 11:42:54

 906

 2

#flink
Flink消费kafka，某partition突然从头开始消费，yarn部署，无报错，很奇怪

Flink消费kafka，某partition突然从头开始消费，yarn per job部署，ui页面无报错，检查点也没有异常，很神奇，不知道什么原因？

白马46
2021-06-11 16:48:30

 774

#flink #大数据 #kafka
flink-sql写入hudi的行列转换lateral

【代码】flink-sql写入hudi的行列转换lateral。

菜鸟冲锋号
2024-08-06 18:56:25

 645

 1

#flink #sql #大数据
flink-cdc 同步 Postgre SQL 基本配置【1】

版本要求PostgreSQL: 9.6, 10, 11, 12 +连接器：flink-cdc-connectors操作步骤更改wal日志方式为logicalwal_level = logical # minimal, replica, or logical阿里云中修改参数设置会实例重启，谨慎操作修改域信息，保证本机可以连接新建用户CREATE USER user WITH PASSWORD 'pw

小野猪佩奇
2022-04-28 14:53:42

 4050

#java #flink
flink部署模式

flink部署模式\X001 Flink架构\X002 flink部署模式flink部署模式分为3种：application模式app的main()运行在jobmanger上。只能运行一个Job，job运行完后jobmanager关闭了。preJob模式app的main()运行在client上，可以运行多个Job，AsyncJob不需要等待上一个Job完成，就可以直接开始运行，所有Job完成后，j

GOOMHOOM
2021-01-21 18:01:34

 485

#flink
flink 读取 starrocks 数据

首先在 starrocks 上创建一个表,插入一些数据。在 flink 上创建表。

YDebby
2022-12-20 19:08:02

 1395

#flink #数据库 #sql
Caused by: org.apache.flink.table.api.ValidationException: ‘scan.incremental.snapshot.chunk.key-...

翻译过来就是：没有主键的源表同步时，需要设置参数 'scan.incremental.snapshot.chunk.key-column'利用 doris 官网的方式，用flink CDC 同步mysql整库数据至doris。，不同的库表列之间用。

摸石头过河的少年
2024-07-10 17:21:36

 940

 2

#flink #大数据
flink教程-基于flink 1.11 使 sql客户端支持执行sql文件

目前flink的sql客户端提供了一种交互式的sql查询服务，用户可以使用sql客户端执行一些sql的批任务或者流任务。但是当我想执行一些sql的定时任务时，flink却没有提供一个合适的方式，所以综合考虑了一下，我决定在sql的客户端基础上给加一个 ‘-filename (-f)’ 参数，就像类似’hive -f abc.sql’ 一样，可以执行一批sql任务。

大数据技术与应用实战
2020-08-02 22:15:41

 2176

 2

#flink #sql
Windows10在本地编译flink1.13.1源码

可以选择在github或者gitee上拉取flink1.13.1的源码ps：如果clone不下来的话，直接下载zip包也是可以的。

程序员小李913
2023-08-03 15:03:08

 449

#flink #maven
flink：窗口函数及metric监控

Flink自带的接口。

趙同学
2023-05-05 16:03:45

 525

#flink #大数据
flink重复消费问题

Flink 消费 Kafka 的过程中，由 FlinkKafkaConsumer 会从 Kafka 中拿到当前 topic 的所有 partition 信息并分配并发消费，这里的 group id 只是用于将当前 partition 的消费 offset commit 到 Kafka，并用这个消费组标识。研究的一天，加上网上查资料才明白，flink使用的flinkkafkaconsumer类实际

 holmes369
2025-01-14 09:46:24

 363

 1

#flink #大数据
Flink 1.14.*版本kafkaSource源码

Flin自身带的连接器kafkaSource内部源码逻辑

 胖墩的IT
2024-08-17 23:53:30

 871

 5

#flink #大数据
org.apache.flink.client.program.ProgramInvocationException: Could not retrieve the execution result.

flink yarn session 模式提交任务报错2021-01-05 16:10:44,950 INFOorg.apache.flink.yarn.AbstractYarnClusterDescriptor- Found application JobManager host name 'centos01' and port '35105' from supplied application

fantasy666888
2021-01-05 16:29:37

 2146

 1

#flink
flink全量检查点和增量检查点

flink的checkpoint知识点

 呆呆敲代码敲到呆
2023-11-28 21:16:06

 1195

 7

#flink #大数据
flinksql-Could not acquire the minimum required resources

flinksql，资源不足

 歆歆歆歆歆
2022-08-11 16:31:00

 4510

 1

#flink #hdfs
flink的提交任务

flink的提交任务1.web页面上传程序代码,填入要1.执行的maind的全类名,2.并行度3.接收机器和端口号,2.还有一种就是直接在项目(idea)中就直接执行程序!结果将会打印在控制台,3.再有一种就是在linux中提交任务将jar包上传到lunux,到flink的命令下bin下,-c 指定main方法的全类名-n 指定main的名字-p 指定并行度-m 指定jobmana...

北京小峻
2020-03-05 09:58:55

 941

#flink
Could not find a suitable table factory for ‘org.apache.flink.table.factories.TableSinkFactory‘

報錯如下:Exception in thread "main" org.apache.flink.table.api.TableException: findAndCreateTableSink failed.at org.apache.flink.table.factories.TableFactoryUtil.findAndCreateTableSink(TableFactoryUtil.ja

微电子学与固体电子学-俞驰
2020-12-26 10:48:43

 2495

#apache #flink #scala
flink 计算直播间当前在线人数和在线时长

老师开直播，看当前在线的人数，并计算每个人的观看直播的总时长来计算是否完课。用户在直播间每隔2s上报心跳。中间用户离开不算观看时长。

XLF763
2024-04-12 16:35:43

 1126

 2

#flink #大数据
flink常用参数及介绍

flinkSQL，大数据

 dgbcf
2023-01-16 16:09:54

 786

#flink #大数据 #数据库
2024年最新Flink之FileSink将数据写入parquet文件_flink写parquet文件(5)

【代码】2024年最新Flink之FileSink将数据写入parquet文件_flink写parquet文件(5)

2401_84186109
2024-05-03 04:21:51

 398

 1

#flink #大数据
【天衍系列 05】Flink集成KafkaSink组件：实现流式数据的可靠传输 &amp；高效协同_flink 创建kafka sink(1)

是 Apache Flink 中用于将数据流转换为 Kafka 记录（record）的序列化模式（Serialization Schema）。它允许将 Flink 数据流中的元素转换为 Kafka 生产者记录，并定义了如何序列化元素的逻辑。在 Flink 中，当你想要将数据发送到 Kafka 主题，需要一个序列化模式来将 Flink 数据流中的元素序列化为 Kafka 记录。而就是为此目的而设计的

 2401_84185471
2024-05-03 18:48:30

 1072

 28

#flink #kafka #linq
The file .flink-runtime.version.properties has not been generated correctly

运行flink报错：查找思路：（1）查看flink/log下的日志发现：The file .flink-runtime.version.properties has not been generated correctly. You MUST run 'mvn generate-sources' in the flink-runtime module. : java.time.format.Dat

d420240tang
2021-04-06 17:31:20

 1691

#flink
flink学习笔记-flink的window介绍、window聚合统计（增量，全量）

窗口类型汇总窗口的基本类型介绍tumbling windows：滚动窗口——没有数据重叠sliding windows：滑动窗口——有数据重复session windows：会话窗口 ——很少用这里就不赘述了Time Windowtime window又分为滚动窗口和滑动窗口，这两种窗口调用方法都是一样的，都是调用timeWindow这个方法，如果传入一个参数就是滚动窗...

陈同学：
2020-03-23 17:55:45

 2119

 4

#flink #大数据
flink 本地调试报 No ExecutorFactory found to execute the application.

使用idea和maven本地调试flink报 No ExecutorFactory found to execute the application.，在网上找了一圈，说是少了 client 依赖包。不同版本的依赖包，包名写法有一些差异。可以直接去maven仓库找需要的依赖。

xufwind
2023-06-27 16:21:25

 975

#flink #大数据
flink生成Watermark之assignTimestampsAndWatermarks

在DataStreamSource对象上调用assignTimestampsAndWatermarks方法，自定义Timestamp提取规则和Watermark生成规则。文章目录基于AssignerWithPeriodicWatermarks接口基于AssignerWithPeriodicWatermarks接口AssignerWithPeriodicWatermarks接口扩展自Timestam

小程序猿
2021-11-22 22:33:02

 1w

#大数据 #flink
flink中AggregateFunction 执行步骤以及含义全网详细解释

package operator;import org.apache.flink.api.common.functions.AggregateFunction;import org.apache.flink.api.common.functions.FlatMapFunction;import org.apache.flink.api.common.functions.MapFunction;im

1534437818
2020-10-20 21:16:57

 3069

 2

#flink
记录一次kafka -＞ flink无数据的坑

kafka 到 flink ,在flink TM的Logs中：INFO org.apache.kafka.Clients.consumer.internals.AbstractCoordinator - Marking the coordinator ip:port (id : XXX rack: XXX) dead for group XXX原因分析：无法找到ip解决方案：配置hosts问题，将

 小迷糊同学
2020-12-18 17:33:25

 954

#kafka #flink
Flink 细粒度滑动窗口性能优化

大数据技术AIFlink/Spark/Hadoop/数仓，数据分析、面试，源码解读等干货学习资料118篇原创内容公众号当使用细粒度的滑动窗口（窗口长度远远大于滑动步长）时，重叠的窗口过多，一个数据会属于多个窗口，性能会急剧下降。以1分钟的频率实时计算App内各个子模块近24小时的PV和UV。我们需要用粒度为1440 / 1 = 1440的滑动窗口来实现它，但是细粒度的滑动窗口会带来性能问题，有两点

 hyunbar
2022-06-23 21:28:22

 1503

#flink #java #数据库
Flink学习4-flink自定义source并行度

概要关于source数据源，在flink 官网上介绍了很多对接方式、例如socket、elements、collect等常见的source，可以见下面链接：https://nightlies.apache.org/flink/flink-docs-release-1.12/zh/dev/connectors/。在这里要说的是自定义source，通过addsource类接入。public class

40926__
2021-12-27 11:31:33

 3404

 1

#flink #big data #大数据
flink1.17安装

官网地址： https://nightlies.apache.org/flink/flink-docs-release-1.17/zh//docs/try-flink/local_installation/

米花町的小侦探
2023-09-27 16:32:06

 1402

#flink
flink窗口函数之processWindowFucntion

功能上来看都还行，感觉reduce这种在大数据量的情况下更占优势，而process逻辑处理更清楚，因为数据都到齐了我想怎么算怎么算。前面学习了reduceFunction 和aggregateFunction。现在来学习processFunction。后者是窗口内的数据全部到齐了之后一起处理。前者是窗口内的数据来一条处理一条。

cclovezbf
2022-09-23 18:09:37

 961

#flink #大数据

加载更多

回到
顶部

提供社区服务与技术支持

提供社区服务与技术支持

©1999-2023北京创新乐知网络技术有限公司京ICP备19004658号