一、flink1.20.0集群安装

下载 直接阿里云下载

apache-flink安装包下载_开源镜像站-阿里云https://mirrors.aliyun.com/apache/flink/

1、上传、解压、 创建软连接   

#解压
[root@tian01 opt]$ tar  -zxvf  flink-1.20.0-bin-scala_2.12.tgz
#创建软连接
[root@tian01 opt]$ ln  -s  flink-1.20.0  flink

2、修改config.yaml配置文件。

[root@tian01 conf]$ cd /opt/flink-1.20.0/conf

[root@tian01 conf]$ vim  config.yaml
#jobmanager配置
jobmanager:
  bind-host: 0.0.0.0
  rpc:
    address: tian01
#taskmanager配置
taskmanager:
  bind-host: 0.0.0.0
  host: tian01
#Rest配置
rest:
  address: tian01
  bind-address: 0.0.0.0

3、修改master配置文件

[root@tian01 conf]$ vi  masters
tian01:8081  

4、修改works配置文件

[root@tian conf]$ vi  workers
tian01
tian02
tian03

5、分发安装目录

#分发Flink配置文件
[root@tian01 opt]$ scp  -r  flink-1.20.0  root@tian02:/opt/
[root@tian01 opt]$ scp  -r  flink-1.20.0  root@tian03:/opt/
#创建软连接
[root@tian02 opt]$ ln  -s  flink-1.20.0  flink
[root@tian03 opt]$ ln  -s  flink-1.20.0  flink

6、修改另外两台机器的conf

[root@tian02 conf]#  vi  config.yaml
taskmanager:
  host: tian02
[root@tian03 conf]# vi config.yaml
taskmanager:
  host: tian03

7、会话部署启动

[root@tian01 bin]$ ./start-cluster.sh
Starting cluster.
Starting standalonesession daemon on host tian01.
root@192.168.88.101's password: 
Starting taskexecutor daemon on host tian01.
Starting taskexecutor daemon on host tian02.
Starting taskexecutor daemon on host tian03.

8、应用模式部署

需要bin目录下的stanalone-job.sh单独启动jobManager

[root@tian01 lib]# pwd
/opt/flink-1.20.0/lib
[root@tian01 lib]# ls
learningFlink1.20-1.0-SNAPSHOT.jar

#启动JobManager服务
[root@tian01 bin]$ ./standalone-job.sh  start  --job--classname  com.yangjun.WordCount
Starting standalonejob daemon on host tian01.


#启动TaskManager服务
[root@tian01 bin]$ ./taskmanager.sh  start
Starting taskexecutor daemon on host tian01.
[root@tian02 bin]$ ./taskmanager.sh  start
Starting taskexecutor daemon on host tian02.
[root@tian03 bin]$ ./taskmanager.sh start
Starting taskexecutor daemon on host tian03.

#监听端口9999

[root@tian01 ~]# nc  -lk  9999
flink
flink
flink

#监听端口查看结果

[root@tian01 flink]$ cd  log/
[root@tian01 log]$ tail  flink-hadoop-taskexecutor-0-tian01.out 
(flink,1)
(flink,2)
(flink,3)

9、yarn模式部署

暂时不写

二、flinkcdc3.2.1安装

1、下载、上传、解压

[root@tian02 opt]# tar -xvf flink-cdc-3.2.1-bin.tar.gz 

2、具体查看flinkcdc官网

MySQL 同步到 StarRocks | Apache Flink CDC

cdc用1.18.0版本的flink。然后跟着官网走就行，新版本的flink用cdc会报错jar报类错误，需要手动编译。