1、背景 在我们的项目中有这么一个场景，需要消费kafka中的消息，并生成对应的工单数据。早些时候程序运行的好好的，但是有一天，我们升级了容器的配置，结果导致部分消息无法消费。而消费者的代码是使用CompletableFuture.runAsync(()->{while(true){.....}})来实现的。即： 需要消费Kafkatopic的个数：7个，每个线程消费一个topic 消费方式：使用线程池异步消费 消费池：默认的ForkJoin线程池???，并且没有做任何配置 是否会释放线程池中的核心线程：不会释放 没出问题时容器配置：2核4G 出问题时容器配置：4核8G，影响的结果：只...

1、背景 在我们开发的过程中有这么一种场景，/projectA目录是hadoopdeploy用户创建的，他对这个目录有wrx权限，同时这个目录属于supergroup，在这个组中的用户也具有这个目录的wrx权限，对于其他人,不可访问这个目录。现在有这么一个特殊的用户root，我想root用户可以访问这个目录，在不修改root用户组和其他人的权限的情况下，还有什么方式可以实现这个功能呢？由上图可以，root用户想访问/projectA目录，在hdfs中可以通过acl来实现。 2、环境准备 创建目录 [hadoopdeploy@hadoop01]$hdfsdfs-mkdir/projectA 列出...

1、什么是MapReduce HadoopMapReduce是一个分布式计算框架，用于轻松编写分布式应用程序，这些应用程序以可靠，容错的方式并行处理大型硬件集群（数千个节点）上的大量数据（多TB数据集） MapReduce是一种面向海量数据处理的一种指导思想，也是一种用于对大规模数据进行分布式计算的编程模型。 2、MapReduce的优缺点 2.1优点 MapReduce易于编程：它简单的实现一些接口，就可以完成一个分布式程序 良好的扩展性：当你的计算资源不能得到满足的时候，你可以通过简单的增加机器来扩展它的计算能力。 高容错性：MapReduce设计的初衷就是使程序能够部署在廉价的PC...