Pulsar 入门实战(3)--安装-摩杜云开发者社区

本文主要介绍 Pulsar 的安装，相关的环境及软件信息如下：CentOS 7.9.2009、Pulsar 3.3.0、Java 17.0.10。

1、单机版安装

为了本地开发和测试，可以以单机模式运行 Pulsar。单机模式将所有组件运行在单个 Java 虚拟机（JVM）进程内。

官网(https://pulsar.apache.org/download/)下载安装包并解压：

tar zxvf apache-pulsar-3.3.0-bin.tar.gz

启动 pulsar：

bin/pulsar standalone

如果机器内存较小，可能无法启动，需调整 pulsar 的内存大小，修改 conf/pulsar_env.sh 文件中的 PULSAR_MEM 参数：

PULSAR_MEM=${PULSAR_MEM:-"-Xms256m -Xmx512m -XX:MaxDirectMemorySize=1g"}

2、单集群安装

2.1、集群规划

主机	部署组件
10.49.196.30	Broker、Bookie、Zookeeper
10.49.196.31	Broker、Bookie、Zookeeper
10.49.196.32	Broker、Bookie、Zookeeper

2.2、Zookeeper 集群部署

Zookeeper 可以使用单独安装的集群，也可以使用 Pulsar 自带的 Zookeeper；这里使用 Pulsar 自带的 Zookeeper。

A、修改 conf/zookeeper.conf 文件：

#以下注释掉
#metricsProvider.className=org.apache.zookeeper.metrics.prometheus.PrometheusMetricsProvider
#metricsProvider.httpPort=8000
#metricsProvider.exportJvmInfo=true

#以下新增
server.1=10.49.196.30:2888:3888
server.2=10.49.196.31:2888:3888
server.3=10.49.196.32:2888:3888

B、根据配置文件中的 dataDir 参数(默认为 data/zookeeper)创建数据目录：

mkdir -p data/zookeeper

C、创建 id 文件

echo 1 > data/zookeeper/myid #10.40.196.30 上执行
echo 2 > data/zookeeper/myid #10.40.196.31 上执行
echo 3 > data/zookeeper/myid #10.40.196.32 上执行

D、启停 Zookeeper

bin/pulsar-daemon start zookeeper #启动
bin/pulsar-daemon stop zookeeper #停止

2.3、元数据初始化

可以使用 pulsar CLI 工具的 initialize-cluster-metadata 命令来初始化元数据。在任一台机器上执行：

bin/pulsar initialize-cluster-metadata \
    --cluster pulsar-cluster-1 \
    --metadata-store zk:10.49.196.30:2181,10.49.196.31:2181,10.49.196.32:2181 \
    --configuration-metadata-store zk:10.49.196.30:2181,10.49.196.31:2181,10.49.196.32:2181 \
    --web-service-url http://10.49.196.30:8080,10.49.196.31:8080,10.49.196.32:8080 \
    --broker-service-url pulsar://10.49.196.30:6650,10.49.196.31:6650,10.49.196.32:6650 \

命令选项说明：

选项	说明
--cluster*	集群名称
--metadata-store*	元数据存储的连接字符串，只需包含 ZooKeeper 集群中的一台机器即可
--configuration-metadata-store*	配置元数据存储的连接字符串，与 --metadata-store 类似，只需包含 ZooKeeper 集群中的一台机器即可
--web-service-url*	集群的 Web 服务 URL，默认端口是 8080（最好不要使用不同的端口）
--web-service-url-tls	集群的 TLS Web 服务 URL，默认端口是 8443（最好不要使用不同的端口）
--broker-service-url*	broker 服务 URL，默认端口是 6650（最好不要使用不同的端口）
--broker-service-url-tls	broker TLS 服务 URL，默认端口是 6651（最好不要使用不同的端口）

注意：当配置一个新的集群时，需要在元数据存储（例如 ZooKeeper）上初始化集群的元数据，只需初始化一次。

2.4、BookKeeper 集群部署

修改 conf/bookkeeper.conf 文件，配置元数据服务地址：

metadataServiceUri=zk://10.49.196.30:2181;10.49.196.31:2181;10.49.196.32:2181/ledgers

启动 bookie：

bin/pulsar-daemon start bookie

如果集群内存不够，可以在 conf/bkenv.sh 中调整内存参数：

BOOKIE_MEM=${BOOKIE_MEM:-${PULSAR_MEM:-"-Xms256m -Xmx512m -XX:MaxDirectMemorySize=1g"}}

bookie 启动后，可以运行以下命令来验证 bookie 是否正常工作：

bin/bookkeeper shell bookiesanity

该命令在本地创建一个临时的 BookKeeper ledger，写入几个条目，读取它们，最后删除这个 ledger。

在启动所有 bookie 后，可以在任一节点上使用以下命令，来验证集群中所有 bookie 是否正常运行：

bin/bookkeeper shell simpletest --ensemble <num-bookies> --writeQuorum <num-bookies> --ackQuorum <num-bookies> --numEntries <num-entries>

该命令在集群上创建一个 ledger，该 ledger 位于 num-bookies 个 bookie 上，写入 numEntries 个条目，最后删除这个 ledger。

2.5、Pulsar brokers 部署

修改 broker 配置文件 conf/broker.conf：

metadataStoreUrl=zk:10.49.196.30:2181,10.49.196.31:2181,10.49.196.32:2181
configurationMetadataStoreUrl=zk:10.49.196.30:2181,10.49.196.31:2181,10.49.196.32:2181
clusterName=pulsar-cluster-1

启动 broker：

bin/pulsar-daemon start broker

2.6、使用 pulsar-client 连接 pulsar 集群

修改配置文件 conf/client.conf:

webServiceUrl=http://10.49.196.30:8080,10.49.196.31:8080,10.49.196.32:8080
brokerServiceUrl=pulsar://10.49.196.30:6650,10.49.196.31:6650,10.49.196.32:6650

发送消息：

bin/pulsar-client produce \
    persistent://public/default/test \
    -n 1 \
    -m "Hello Pulsar"

接受消息：

bin/pulsar-client consume \
    persistent://public/default/test \
    -n 100 \
    -s "consumer-test" \
    -t "Exclusive"

3、多集群安装

一个 Pulsar 实例由多个 Pulsar 集群组成，它们之间协同工作；这些集群分布在不同的数据中心或地理区域，使用地理复制技术在它们之间进行数据复制。多集群安装较复杂，这里就不详细介绍，可参考官网 https://pulsar.apache.org/docs/3.3.x/deploy-bare-metal-multi-cluster。

4、pulsar-manager 安装

4.1、下载并解压安装包

官网(https://pulsar.apache.org/download/)下载安装包，然后解压。

wget https://dist.apache.org/repos/dist/release/pulsar/pulsar-manager/pulsar-manager-0.4.0/apache-pulsar-manager-0.4.0-bin.tar.gz
tar -zxvf apache-pulsar-manager-0.4.0-bin.tar.gz

4.2、解压后端应用包并拷贝前端资源到后端目录

cd apache-pulsar-manager-0.4.0-bin
tar xvf pulsar-manager.tar
cd pulsar-manager
cp -r ../dist ui

4.3、启动 pulsar-manager

./bin/pulsar-manager #不能使用 JDK17，会报错

启动后访问地址为：http://host:7750/ui/index.html。

4.4、初始化用户

CSRF_TOKEN=$(curl http://10.49.196.32:7750/pulsar-manager/csrf-token)
curl \
    -H "X-XSRF-TOKEN: $CSRF_TOKEN" \
    -H "Cookie: XSRF-TOKEN=$CSRF_TOKEN;" \
    -H 'Content-Type: application/json' \
    -X PUT http://10.49.196.32:7750/pulsar-manager/users/superuser \
    -d '{"name": "admin", "password": "apachepulsar", "description": "test", "email": "username@test.org"}'

4.5、配置环境

Service URL 和 Bookie URL 只需配置集群中一个结点的地址，配多个会报错。

5、Pulsar 常用配置

5.1、Broker(conf/broker.conf)

参数	说明	类型	默认值	是否动态参数
clusterName*	集群名称	java.lang.String	null	false
authenticationEnabled	是否启用认证	boolean	false	false
authenticationProviders	身份验证提供者	java.util.Set	[]	false
authenticationRefreshCheckSeconds	检查身份凭证过期的时间间隔	int	60	false
anonymousUserRole	匿名用户的角色	java.lang.String	null	false
authorizationEnabled	是否启用授权	boolean	false	false
disableHttpDebugMethods	是否禁用 TRACE 和 TRACK 请求	boolean	false	false
httpMaxRequestHeaderSize	请求头的最大大小，单位为字节	int	8192	false
httpMaxRequestSize	请求体的最大大小	int	-1	false
httpRequestsFailOnUnknownPropertiesEnabled	请求中有位置参数时是否失败	boolean	false	true
httpRequestsLimitEnabled	是否启用对请求的限制	boolean	false	false
httpRequestsMaxPerSecond	每秒允许的最大 HTTP 请求次数	double	100	false
brokerDeleteInactivePartitionedTopicMetadataEnabled	是否自动删除不活动分区主题的元数据信息	boolean	false	true
brokerDeleteInactiveTopicsEnabled	是否自动删除不活动主题	boolean	true	true
brokerDeleteInactiveTopicsFrequencySeconds	检查不活动主题的间隔	int	60	true
brokerDeleteInactiveTopicsMaxInactiveDurationSeconds	不活动主题存活的最长时间	java.lang.Integer	null	true
brokerDeleteInactiveTopicsMode	不活动主题删除模式 delete_when_no_subscriptions 删除没有订阅者且没有活跃生产者的主题 delete_when_subscriptions_caught_up 删除所有订阅者都没有积压消息且没有活跃生产者/消费者的主题	InactiveTopicDeleteMode	delete_when_no_subscriptions	true
brokerMaxConnections	broker 最大连接数	int	0	false
brokerMaxConnectionsPerIp	连接 broker 时，每个 IP 的最大连接数	int	0	false
bindAddress	绑定地址	java.lang.String	0.0.0.0	false
bindAddresses	额外的绑定地址，格式化为 <listener_name>:<scheme>://<host>:<port>	java.lang.String	null	false
brokerServicePort	broker 端口，与 bindAddress 参数组成一个绑定地址：bindAddress:brokerServicePort	java.util.Optional	Optional[6650]	false
brokerServicePortTls	broker tls 端口，与 bindAddress 参数组成一个绑定地址：bindAddress:brokerServicePortTls	java.util.Optional	Optional.empty	false
brokerShutdownTimeoutMs	优雅关闭 broker 的等待时间，超过此时间，进程将被强制终止。	long	60000	true
clientLibraryVersionCheckEnabled	是否启用检查最低允许的客户端库版本	boolean	false	true
configurationMetadataStoreUrl	配置元数据地址，如果为空则使用 metadataStoreUrl	java.lang.String	null	false
delayedDeliveryEnabled	是否启用消息的延迟投递	boolean	true	false
delayedDeliveryMaxDelayInMillis	延迟投递的最大允许延迟（以毫秒为单位）。如果 broker 接收到的消息超过了此最大延迟，那么将向生产者返回错误。默认值为 0，表示没有最大投递延迟限制。	long	0	false
delayedDeliveryMaxDelayInMillis	检查延迟消息是否已到投递时间的时间间隔，默认为 1 秒	long	1000	false
enableNonPersistentTopics	是否允许 broker 加载非持久化主题	boolean	true	false
enablePersistentTopics	是否允许 broker 加载持久化主题	boolean	true	false
keepAliveIntervalSeconds	检查 Pulsar 连接是否仍然活动的频率	int	30	false
maxConcurrentHttpRequests	web 请求最大并发连接数	int	1024	false
maxConsumersPerSubscription	一个订阅允许的最大消费者个数	int	0	false
maxConsumersPerTopic	一个主题允许的最大消费者个数	int	0	false
maxHttpServerConnections	最大 HTTP 连接数	int	2048	false
maxMessageSize	消息的最大大小	int	5242880	false
maxNumPartitionsPerPartitionedTopic	分区主题的最大分区数	int	0	true
maxProducersPerTopic	一个主题允许的最大生产者个数	int	0	false
maxPublishRatePerTopicInBytes	发布消息到一个主题的最大速率(byte/s)	long	0	true
maxPublishRatePerTopicInMessages	发布消息到一个主题的最大速率(个/s)	int	0	true
maxSameAddressConsumersPerTopic	一个主题同一 IP 的最大消费者个数	int	0	false
maxSameAddressProducersPerTopic	一个主题同一 IP 的最大生产者个数	int	0	false
maxSubscriptionsPerTopic	一个主题的最大订阅数	int	0	false
maxTenants	Pulsar 集群可以创建的最大租户数	int	0	false
metadataStoreUrl	元数据存储地址(Zookeeper 地址)	java.lang.String	null	false
systemTopicEnabled	是否启用系统主题	boolean	true	false
webServicePort	Web 服务端口	java.util.Optional	Optional[8080]	false
webServicePortTls	Web 服务 TLS 端口	java.util.Optional	Optional.empty	false
allowAutoTopicCreation	是否允许自动创建主题	boolean	true	true
allowAutoTopicCreationType	允许自动创建的主题类型	TopicType	non-partitioned	true

5.2、Client(conf/client.conf)

参数	说明	类型	是否必须	默认值
webServiceUrl	REST API 服务地址	java.lang.String	Required	http://localhost:8080/
brokerServiceUrl	Pulsar 二进制协议服务地址	java.lang.String	Required	pulsar://localhost:6650/

5.3、Log4j(conf/log4j.yaml)

参数	说明	默认值
pulsar.log.dir	日志目录	logs
pulsar.log.file	pulsar 日志文件	plusar.log

参考：
https://pulsar.apache.org/docs/3.3.x/deploy-bare-metal/
https://pulsar.apache.org/reference/#/3.3.x/config/