flink-1.15.0在centos7上安装(Local模式安装)
  nQkVcpdWfLDr 2023年11月02日 69 0

Flink提供了多种部署方式,有Local模式、Standalone模式、YARN模式。本文只介绍Local模式。

flink-1.15.0在centos7上安装(Local模式安装)_flink

1.环境准备

Java8以上(必备基础环境)             #Local模式 只需要安装Java8及以上即可

Zookeeper(HA高可用需要环境)

Hadoop(YARN模式需要环境)

2.下载flink

下载地址:​​https://www.apache.org/dyn/closer.lua/flink/flink-1.15.0/flink-1.15.0-bin-scala_2.12.tgz​

flink-1.15.0在centos7上安装(Local模式安装)_flink_02

3.安装flink

Local Cluster模式是开箱即用的,直接解压安装包,修改配置文件后启动即可。

(1).解压安装包
tar -zxvf flink-1.15.0-bin-scala_2.12.tgz
mv flink-1.15.0 /usr/local/
(2).修改配置文件flink-conf.yaml

常用的一些配置

jobmanager.rpc.address: localhost       # JM的host,只在standalone中有效,其他例如Yarn、K8S等或者HA模式都是无效的,都被其他服务自动选举
jobmanager.rpc.port: 6123 # JM的port,生效时机同上
metrics.internal.query-service.port: 0 # 用于及指标查询服务的端口,默认会随机找一个端口,也可以通过50100,50101,50200-50300等方式指定范围内挑选
rest.address:
rest.port
rest.bind-address: # web服务绑定的address 默认是localhost
rest.bind-port: # web服务端绑定的port 默认是8081
taskmanager.data.port: # TM用于外部数据交换的端口
taskmanager.host: # TM对外暴露的端口
taskmanager.rpc.port: # TM用于rpc的端口

此处只修改 rest.bind-address 为0.0.0.0,这样可以访问webui的监控界面了

vim /usr/local/flink-1.15.0/conf/flink-conf.yaml

flink-1.15.0在centos7上安装(Local模式安装)_命令行_03

(3).启动flink
cd /usr/local/flink-1.15.0/bin
./start-cluster.sh

flink-1.15.0在centos7上安装(Local模式安装)_flink_04

查看是否启动成功(可以看到有3个进程)

jps

flink-1.15.0在centos7上安装(Local模式安装)_命令行_05

(4).访问Flink的Web UI
http://10.2.6.100:8081/

flink-1.15.0在centos7上安装(Local模式安装)_flink_06

slot在Flink里面可以认为是资源组,Flink是通过将任务(Task)分成子任务(SubTask)并且将这些子任务分配到slot来并行执行程序。

4.运行官方例子SocketWindowWordCount.jar 为例看一下flink webUI和命令行提交任务的过程。

(1).环境准备

安装nc,nc工具功能类似于cat命令,但用于网络。它是一个命令行的工具,用于跨网络读取、写入和重定向数据。它被设计成一个可靠的后端工具,可以与脚本或其他程序一起使用。

yum install nc
(2).nc命令构造socket流的生产端

因为SocketWindowWordCount是读取的socket流中的数据,所以需要构造一下socket生产端,nc命令可以伪造一个socket流的生产端(在10.2.6.100上执行以下命令)

nc -l 9090

flink-1.15.0在centos7上安装(Local模式安装)_flink_07

(3).Web UI提交任务
1).Add New选择任务

flink-1.15.0在centos7上安装(Local模式安装)_数据_08

选择SocketWindowWordCount.jar文件(从linux中的/usr/local/flink-1.15.0/examples/streaming目录拷贝到windows系统)

flink-1.15.0在centos7上安装(Local模式安装)_数据_09

2).点击name

flink-1.15.0在centos7上安装(Local模式安装)_flink_10

填入命令行参数

--hostname 10.2.6.100 --port 9090

flink-1.15.0在centos7上安装(Local模式安装)_数据_11

3).点击Submit

flink-1.15.0在centos7上安装(Local模式安装)_数据_12

flink-1.15.0在centos7上安装(Local模式安装)_命令行_13

(4).在nc生产端实时输入数据(10.2.6.100)

flink-1.15.0在centos7上安装(Local模式安装)_数据_14

(5).flink程序实时输出

flink-1.15.0在centos7上安装(Local模式安装)_命令行_15

flink-1.15.0在centos7上安装(Local模式安装)_数据_16

5.使用命令行提交任务SocketWindowWordCount.jar

注:需要开2个命令行窗口

(1).启动生产端
nc -l 9090 
(2).命令行提交任务
/usr/local/flink-1.15.0/bin/flink run /usr/local/flink-1.15.0/examples/streaming/SocketWindowWordCount.jar --hostname 10.2.6.100 --port 9090

flink-1.15.0在centos7上安装(Local模式安装)_命令行_17

(3).在nc生产端实时输入数据

flink-1.15.0在centos7上安装(Local模式安装)_数据_18

(4).结果在webUI上查看

flink-1.15.0在centos7上安装(Local模式安装)_数据_19

参考链接:​​https://flink.apache.org/​

                ​​https://www.jianshu.com/p/1ebb2e6d34f0​

                ​​https://zhuanlan.zhihu.com/p/374960643​

                ​​https://www.cnblogs.com/zz-ksw/p/11988132.html​




【版权声明】本文内容来自摩杜云社区用户原创、第三方投稿、转载,内容版权归原作者所有。本网站的目的在于传递更多信息,不拥有版权,亦不承担相应法律责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@moduyun.com

  1. 分享:
最后一次编辑于 2023年11月08日 0

暂无评论

推荐阅读
nQkVcpdWfLDr