八、Hive中的分桶 分区：将文件切割成多个子目录 selectfrompartition(k=v);//减少数据量 分桶：将文件切割成多个小文件 采集数据，按照桶采集//减少数据量 桶中数据的join操作，效率更高//减少数据量 原理： MR中：按照key的hash值对reducetask个数求模 Hive中：按照分桶字段的hash值对分桶的个数求模 分桶： 方便抽样（采用数据） 提高join的查询效率 案例： 1.创建表，设置分桶字段createtablecluster_tb(idint,namestring)clusteredby(id)into4bucketsrowformatdeli...

十、优化 1.数据倾斜 maptask和reducetask的个数 1.1maptask的个数：文件的大小、文件的个数、集群上blocksize的大小 问题：小文件过多的问题（maptask并不是越多越好） 在map执行前进行合并，减少maptask的个数 //配置文件修改配置<property><name>hive.input.format</name><value>org.apache.hadoop.hive.ql.io.CombineHiveInputFormat</value></property>//命令行修改配...

压缩 zip-jr要压缩的文件夹路径压缩的目标位置 解压 unzip压缩的文件路径-d解压的目标路径

压缩 zip-jr要压缩的文件夹路径压缩的目标位置 解压 unzip压缩的文件路径-d解压的目标路径

可移植操作系统接口（英语：PortableOperatingSystemInterface，缩写为POSIX）是IEEE为要在各种UNIX操作系统上运行软件，而定义API的一系列互相关联的标准的总称，其正式称呼为IEEEStd1003，而国际标准名称为ISO/IEC9945。此标准源于一个大约开始于1985年的项目。POSIX这个名称是由理查德·斯托曼（RMS）应IEEE的要求而提议的一个易于记忆的名称。它基本上是PortableOperatingSystemInterface（可移植操作系统接口）的缩写，而X则表明其对UnixAPI的传承。

参考：http://laoshen.info/2022/12/26/windows11%E5%AE%89%E8%A3%85docker/ 安装包：E:\dev\docker

1.在响应头中设置允许跨域的只适合于小公司 响应配置response.setHeader("Access-Control-Allow-Origin",""); 2.使用HttpClient转发效率低 3.使用jsonp处理，json最大的缺陷支持get请求不支持post请求 4.使用nginx配置浏览器访问的项目与接口项目的域名或者端口号码一致性。     www.mayikt.com/vue转发到vue项目         www.mayikt.com/api转发到接口项目...

一、限定符 1、？匹配0或1个字符 2、匹配0个或多个字符 3、+匹配出现至少一次的字符 4、{}指定字符出现的次数，{2}为2次，{2，}为2次以上，{2，6}为2至6次 二、运算符 1、圆括号（） 2、中括号[] 3、^非 4、|或 5、（a|b）匹配a或者b 6、（ab）|（cd）匹配ab或者cd 7、[abc]匹配a或者b或者c，同[a-c] 8、[a-fA-F0-9]匹配小写+大写英文字符及数字 9、[^0-9]匹配非数字字符 三、元字符 1、\d数字字符等同于[0-9]+ 2、\w单词字符（英文、数字及下划线） 3、\s空白符（包含Tab和换行符） 4、\D非数字字符 5、\W非单...

https://www.jb51.net/article/276407.htm 在项目开发中，一般文件存储很少再使用SFTP服务，但是也不排除合作伙伴使用SFTP来存储项目中的文件或者通过SFTP来实现文件数据的交互，这篇文章主要介绍了Java集成FTP与SFTP连接池− 目录 区别 FtpUtil SFTPUtil 问题 区别 FTP是一种文件传输协议，一般是为了方便数据共享的。包括一个FTP服务器和多个FTP客户端。FTP客户端通过FTP协议在服务器上下载资源。FTP客户端通过FTP协议在服务器上下载资源。而一般要使用FTP需要在服务器上安装FTP服务。 而SFTP协议是在FTP的基...

文档描述了文档的结构。可以用一个指定的文档模式来验证某个文档，以检查该文档是否符合其要求。文档设计者可以通过文档模式指定一个xml文档所允许的结构和内容，并可据此检查一个xml文档是否是有效的。xml模式本身是一个xml文档，它符合xm语法结构。可以用通用的XML解析器解析它。 个模式会定义:文档中出现的元素、文档中出现的属性、子元素、子元素的数量、子元素的顺序、元素是否为空、元素和属性的数据类型、元素或属性的默认和固定值。 简而言之，XSD文件用来定义Xml的格式的文件，而XML是按照一定的Xsd格式生成的数据文档

在进行数据处理时，我们经常需要对字符串进行替换操作，这时候正则表达式就可以发挥重要作用。MySQL也提供了一些函数来支持字符串替换操作，如REPLACE、REGEXP_REPLACE等函数。本文将详细介绍MySQL字符串替换正则表达式的使用方法，希望能够帮助读者更好地处理数据。 二、REPLACE函数 REPLACE函数是MySQL内置的字符串替换函数，它的语法格式如下： REPLACE(str,search_str,replace_str) 其中，str是要进行替换操作的字符串；search_str是要被替换的子字符串；replace_str是替换成的新字符串。该函数会在str中查找所有与s...

1. 正则表达式运算符 expressionNOTREGEXPpattern,expressionNOTRLIKEpatternexpressionREGEXPpattern,expressionRLIKEpattern如果表达式expression匹配给定模式pattern返回1，否则返回0.如果表达式expression或者模式pattern为NULL，则返回NULLRLIKE和REGEXP一样. 2.正则表达式语法 ^ 匹配字符串开始 mysql>SELECT'fo\nfo'REGEXP'^fo$';->0 mysql>SELECT'fofo'REGEX...

1.javabean->xml @TestpublicvoidmarshalTest(){try{JAXBContextjContext=JAXBContext.newInstance(User.class);Marshallermarshaller=jContext.createMarshaller();Petpet=newPet("dog","小哈");BookaBook=newBook("平凡的世界",20);BookbBook=newBook("明晓溪",15);List<Book>books=newArrayList<Book>();books.add...