实际上以前我也简单介绍过，以下主要是对于这些有一些整体的介绍 paths.dist配置属性，包含了加速，表，job结果，上传以及下载的数据，支持包含了共享存储（nas，hdfs，以及对象存储） 对于对象存储实际上还是hdfs，只是处理上配置不一样 paths:{...dist:"dremioS3:///<bucket_name>/<folder1>/<folder2>"} 同时我们需要配置core-site.xml，具体就是s3a的一些参数了，具体参考官方文档 注意默认fs.s3a.buffer.dir配置默认为/tmp/hadoop-drem...

元数据存储主要包含了用户，空间，数据几的配置，默认存在在${DREMIO_HOME}/data目录，但是我们也可以进行配置，对于一个ha的环境，我们需要使用nas存储（nfs。。。） io性能 元数据存储，提供的服务类型 用户查询&&数据反射的刷新直接回影响并行查询的个数 元数据刷新主要是dremio进行数据信息的定时刷新获取（基于源数据集配置）直接回影响原始物理数据集的刷新以及连接数 官方参考的io要求 元数据刷新 说明 以上参数还是比较有意义的，可以作为我们进行实际部署的参考

一个简单的测试，不算是ha（ha后边会介绍使用） 环境准备 docker-compose文件 version:"3" services: zookeeper: image:zookeeper ports: "2181:2181" "8080:8080" dremio1: image:dremio/dremio-oss:13.0 environment: DREMIO_JAVA_SERVER_EXTRA_OPTS=-Dsaffron.default.charset=UTF-16LE-Dsaffron.default.nationa...

dremio支持多种部署模式基于云的基于独立部署，生产环境不建议使用独立模式（推荐基于集群模式），云环境的模式就不说了，主要说明关于独立环境的部署 基本模式 可以基于docker，rpm，以及编译好的软件包 依赖 至少jdk8 参考容器运行 version:"3" services: dremio1: image:dremio/dremio-oss:13.0 environment: DREMIO_JAVA_SERVER_EXTRA_OPTS=-Dsaffron.default.charset=UTF-16LE-Dsaffron.default.nat...

参考集群部署模式 组件说明 查询，主要进行rest，ui，odbc，jdbc连接处理 coordinator协调节点，一个或者多个，分为master以及普通节点 executor执行节点，进行实际的数据执行操作，理论上越多的节点越好，可以提高系统的性能 metadatastorage元数据存储，主要是关于，数据配置，权限配置。。。。数据的存储， zk外部zk集群，主要使用用来进行高可用管理 distributedsotrage所有node需要挂载的（但是也不是必须的，如果需要其他数据湖存储的可能需要）

平时在进行dremio升级的时候的步骤如下： 停止node节点，升级软件包（基于软连接，调整配置） 停止master，升级软件包（基于软连接，调整配置,升级master的kv存储） 启动master 启动node 上边问题的一些问题 master先启动，然后启动node会有以下问题： 以前配置的反射数据会有问题（因为dremio基于自己的算法进行了反射数据的cache），先启动amster，后启动node会造成反射数据失效（下次更新也可以） 服务处理可能会比较慢（尤其是master启动之后，需要执行任务，但是node界面还没准备好） 一些改进 先停止node，后停止master，之后...