1、Yarn是什么？ 　　ApacheHadoopYARN（YetAnotherResourceNegotiator另一种资源协调者）是一种新的Hadoop资源管理器，提供一个通用资源管理系统和调度平台，可为上层应用提供统一的资源管理和调度。可以把HadoopYARN理解为相当于一个分布式的操作系统平台，而MapReduce等计算程序则相当于运行于操作系统之上的应用程序，YARN为这些程序提供运算所需的资源（内存，CPU等，磁盘由HDFS管理）。Yarn支持各种计算框架，不关心你干是干什么的，只关心你要的资源。 2、Yarn架构 YARN的基本思想是将资源管理和作业调度/监控的功能拆分为单独的...

1、Yarn是什么？ 　　ApacheHadoopYARN（YetAnotherResourceNegotiator另一种资源协调者）是一种新的Hadoop资源管理器，提供一个通用资源管理系统和调度平台，可为上层应用提供统一的资源管理和调度。可以把HadoopYARN理解为相当于一个分布式的操作系统平台，而MapReduce等计算程序则相当于运行于操作系统之上的应用程序，YARN为这些程序提供运算所需的资源（内存，CPU等，磁盘由HDFS管理）。Yarn支持各种计算框架，不关心你干是干什么的，只关心你要的资源。 2、Yarn架构 YARN的基本思想是将资源管理和作业调度/监控的功能拆分为单独的...

　　因为传统数仓的不足，大家希望使用上分布式存储，也就是HDFS。然而使用HDFS后发现，基于数据库的数据仓库用SQL就能做查询，现在换到HDFS上面，只能用Mapreduce任务去做分析。给分析代码极大的不便，因此需要一个框架，使用SQL来做HDFS的查询。Hive正是基于类似SQL的语言完成对hdfs数据的查询分析的框架。 什么是Hive? 　　Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，...

“::”是Java8引入的新特性之一，常常被称作为方法引用，提供了一种不执行方法的方法。使用“::”可以进一步简化一些使用了lambda表达式的代码，让代码更加简洁。 用法1：省略lamda表达式 publicclassTest01{ publicstaticvoidmain(String[]args){ String[]array={"aaaa","bbbb","cccc"}; List<String>list=Arrays.asList(array); //使用lambda表达式 list.forEach(x->System.out.println(x)); Syste...

　　拉链表是一种维护历史状态，以及最新状态数据的一种表。拉链表根据拉链粒度的不同，去除了一部分不变的记录，通过拉链表可以很方便的还原出拉链时点的客户记录，实际上相当于快照。 拉链表特征 1）记录一个事物从开始，一直到当前状态的所有变化的信息； 2）每次上报的都是历史记录的最终状态，是记录在当前时刻的历史总量； 3）当前记录存的是当前时间之前的所有历史记录的最后变化量（总量）； 4）存量一般设计成拉链表（月报常用、日报）； 5）关链时间可以是3000年，9999等比较大的年份,例如[2022-07-01,9999-12-31] 表示连续的状态，因为开始时间为2022-07-01，闭合时间为未知...

带有注释的方法@Builder（从现在起称为target）会导致生成以下7个内容： 名为的内部静态类FooBuilder，具有与静态方法相同的类型参数（称为builder）。 在构建器中：目标的每个参数都有一个私有非静态非最终字段。 在构建器中：包私有无参数空构造函数。 在构建器中：目标的每个参数都有一个类似“setter”的方法：它与该参数具有相同的类型和相同的名称。它返回构建器本身，以便可以链接设置器调用，如上面的示例所示。 在构建器中：build()调用方法的方法，传入每个字段。它返回的类型与目标返回的类型相同。 在构建器中：一个合理的toString()实现。 在包含目标 ...

简介 领域驱动设计(Domain-DrivenDesign，简称DDD)是一种软件开发方法论，它强调将业务逻辑和核心业务过程放在应用程序的中心。 DDD强调通过理解业务领域，将其映射到软件代码中，以便更好地满足业务需求。它主要包含以下几个核心概念: 领域模型(DomainModel):领域模型是对业务领域的抽象和建模。它由一组实体(Entity)、值对象(ValueObject)、聚合(Aggregate)、领域服务(DomainService)等组成。 聚合(Aggregate):聚合是一组相关对象的集合，它们共同形成了一个有意义的整体。聚合根(AggregateRoot)是聚合的入口点，...

FN+Win解锁 唯有热爱方能抵御岁月漫长。

概念 用户输入搜索query后，系统如何从库中找到命中query词的商品？暴力的方法是先对query进行分词得到每个query的term，而后遍历每个商品信息的每个term词，如果queryterm在商品信息中全部命中，则召回该商品。 召回是对于输入query，能够高效的获取query相关的候选doc集合。 所有的召回都是根据用户的Query来的，首先我们要清楚用户经常搜索的Query分为哪几类，我们才能够清晰地根据用户的Query去构建我们整体的召回策略。我们将用户的Query分为以下几个大类   召回策略 简单Match机制 很多电商APP在最开始做搜索召回时，采用的都是比较粗...

每种数据库都有自己要解决的问题（或者说擅长的领域），对应的就有自己的数据结构，而不同的使用场景和数据结构，需要用不同的索引，才能起到最大化加快查询的目的。 对Mysql来说，是B+树，对Elasticsearch/Lucene来说，是倒排索引。 与正排索引区别 在没有搜索引擎时，我们是直接输入一个网址，然后获取网站内容，这时我们的行为是： document->to->words 通过文章，获取里面的单词，此谓「正向索引」，forwardindex. 后来，我们希望能够输入一个单词，找到含有这个单词，或者和这个单词有关系的文章： word->to->documents 单...

1、统计某段时间内所有人员代码量 gitlog--format='%aN'|sort-u|whilereadname;doecho-en"$name\t";gitlog--author="$name"--pretty=tformat:--since2022-07-30--until=2022-11-10--numstat|awk'{add+=$1;subs+=$2;loc+=$1$2}END{printf"addedlines:%s,removedlines:%s,totallines:%s\n",add,subs,loc}'-;done 2、统计某段时间内某个人的代码量 gitlog-...

每种数据库都有自己要解决的问题（或者说擅长的领域），对应的就有自己的数据结构，而不同的使用场景和数据结构，需要用不同的索引，才能起到最大化加快查询的目的。 对Mysql来说，是B+树，对Elasticsearch/Lucene来说，是倒排索引。 与正排索引区别 在没有搜索引擎时，我们是直接输入一个网址，然后获取网站内容，这时我们的行为是： document->to->words 通过文章，获取里面的单词，此谓「正向索引」，forwardindex. 后来，我们希望能够输入一个单词，找到含有这个单词，或者和这个单词有关系的文章： word->to->documents 单...

云计算的三种模型是PaaS（平台即服务），SaaS（软件即服务）和IaaS（基础架构即服务）。IaaS是指由云供应商管理的云计算基础设施——服务器、存储等，而SaaS是指托管在云中并由SaaS供应商维护的完整应用程序。如果说SaaS客户就像租房子的人，那么PaaS客户就像租快速建造房子所需要的所有重型设备和电动工具的人，前提是这些工具和设备由其持有者持续维护和维修。   区别 SaaS：租的房子，只能住人和存放物品，不能修改房间的设施。 PaaS：买的精装修房，可以布置一些家电（如电视机、空调等等）、墙上挂一些装饰等等，俗称软装。 IaaS：买来的毛坯房，可以自己装修水电、安装柜子...

执行 mysqld--initialize--console 时报错 其实就是my.ini文件出了问题。mysql8的配置文件中basedir和datadir的路径格式不对 错误： 设置mysql的安装目录 basedir=D:\software\mysql-8.0.25-winx64\mysql-8.0.25-winx64 设置mysql数据库的数据的存放目录 datadir=D:\software\mysql-8.0.25-winx64\mysql-8.0.25-winx64\data 正确： 设置mysql的安装目录 basedir=D:\\software\...

一个需求，需要修改本地的dns解析，去验证业务的正确性，修改本地的hosts文件需要频繁的修改本地磁盘文件。 使用工具包（https://github.com/tanhaichao/javahost）这个工具类实际是通过反射机制，去修改了InetAddress中的cache值，来实现dns解析的修改。 CloseableHttpClient方法在做connect的时候，利用下述方法先获取DNS数据。InetAddress.getAllByName获取到相应的DNS解析记录，然后根据dns解析去建立socket链接。 定位到出错问题发生在： protectedObjectcreateCache...

限流场景： 秒杀活动，有人使用软件恶意刷单抢货，需要限流防止机器参与活动 某api被各式各样系统广泛调用，严重消耗网络、内存等资源，需要合理限流 使用Redis实现限流的思路： 通过ip:api路径的作为key，访问次数为value的方式对某一用户的某一请求进行唯一标识 每次访问的时候判断key是否存在，是否count超过了限制的访问次数 若访问超出限制，则应response返回msg:请求过于频繁给前端予以展示   实现技术要点： 　　redis、自定义注解、拦截器 自定义限流注解 / 限流注解:三个参数分别代表有效时间、最大访问次数、是否需要登录，可以理解为expir...

时间戳转时间： SimpleDateFormatsimpleDateFormat=null;simpleDateFormat=newSimpleDateFormat("yyyyMMdd"); Datedate=newsimpleDateFormat.format(date); simpleDateFormat=newSimpleDateFormat("HHmmss");Stringtime=simpleDateFormat1.format(date); 时间转时间戳 SimpleDateFormatsimpleDateFormat=newSimpleD...