1.背景 在alluxio1.8中，alluxiomaster只支持单节点部署，一旦挂掉，整个集群将不可用。alluxio2.x后，提供了高可用方案：Alluxio组件中嵌入ApacheRatis代码，由Ratis负责选举leader，Alluxio的各个master在同步editlog时，由Ratis提供editlog的一致性传输。 Ratis服务基于Raft共识算法，该算法保证分布式集群中只有一个leadermaster对外提供服务，其他standbymaster在leadermaster退出时再竞争成为master。 本文会先后介绍Raft算法框架，不会详解琢磨细节，同时介绍Raft在A...

1.背景 在https://blog.51cto.com/u_15327484文章中，介绍了Alluxio的架构。本文基于此，介绍Alluxio文件读写流程。Alluxio读写流程几乎和HDFS一致，只是Worker多了一个从UFS读写的选项，本文会省略部分流程，只介绍重点。 2.Alluxio写流程 客户端向Alluxio写数据时，可以指定是否就Alluxio中的数据写到UFS中。写UFS数据时，还可以指定是同步写入还是异步写入。Alluxio有四种写数据的模式： MUST_CACHE：数据只写到AlluxioWorker中。 CACHE_THROUGH：数据写到AlluxioWoker中...

1.背景 对于Hadoop集群而言，将长期没有访问的冷数据放到DataNode中的磁盘存储成本较高，可以将这部分冷数据存储到S3中。这就引入一个问题，虽然Hadoop支持s3a的方式访问s3文件系统，但是访问时需要携带aksk，一旦用户拿到aksk，他们就有随意操控整个S3数据的权限，整个S3数据就不安全了。 为了解决这个安全问题，可以将S3文件系统挂载到Alluxio文件系统中，Alluxio的客户端可以通过Alluxio统一命名空间和接口来访问多个独立的存储系统，S3就是Alluxio的UFS(UnderFileSystem)。这样，只有Alluxio服务会访问S3文件，Alluxio服务...