Linux（CentOS7.5）安装IDEA ​一、安装JDK​ ​​1.先查看Java的版本​​ ​​2.过滤查出openjdk以及版本​​ ​​3.删除openJDK版本​​ ​​4.下载Oracle的jdk版本并解压​​ ​​5.设置环境变量​​ ​​6.查看jdk是否安装成功​​ ​二、安装IDEA​ ​​1.解压IDEA到安装目录​​ ​​2.启动IDEA​​ ​​3.利用插件重置30天​​ 一、安装JDK 1.先查看Java的版本 （这里本人的jdk已经安装成功了） 如果结果是​​openjdk​​版本，那是因为CentOS自带的是openjdk或者你之前通过...

Flume中FileChannel的优化 FileChannel的特点 FileChannel的优化 索引 索引备份 Flume官方优化设计 概述（Overview） 设计（Design） FileChannel的实现（Implementation） 总结（Conclusion） 参考 FileChannel的特点 速度较MemoryChannel慢 可靠性较MemoryChannel高 内存通道与文件通道对比 MemoryChannelvs.FileChannelAnimportantdecisiontomakewhendesigningyourFlumeflow...

数仓采集通道的设计 写在前面 方案一： 方案二： 方案三： 最终方案 写在前面 离线和实时数仓共用一套数据采集通道系统 数据采集存储到HDFS上 完全分布式（三台节点） 方案一： (node01)Flume（TailDirSource）+KafkaChannel+HDFSSink+Kafka-->Kafka(node02) 架构图： KafkaChannel有一个参数：parseAsFlumeAgent=true，即数据以Event的方式发送给Kafka Event格式：Header+Body 数据发送到HDFSSink，下游可以解析出Body数据，Event数据存储在n...

Hive命令使用记录 操作一些常用的BashShell命令： 操作HDFS平台相关的命令： 查看当前使用的数据库 创建表的时候通过location指定数据存储位置，加载数据 隐式类型转换的规则如下 操作一些常用的BashShell命令： hive>紧跟一个"!"号+BashShell命令，结尾加";"。 hive>!pwd; hive>!ls/home/user 操作HDFS平台相关的命令： 去掉HDFS平台命令前的Hadoop关键字，其他保留，以";"号结尾。 hive>dfs-ls/ 注释：相当于 [zhangsan@node01-]$had...

执行HQL直接被退出：Remotesideunexpectedlyclosednetworkconnection ＨQL语句 执行情况描述 原因 正确HQL ＨQL语句 selectcity,layer,avg(total/size)from ( selectcity,houseinfo[0]layer,substring(houseinfo[4],0,length(houseinfo[4])-2)assize, totalfromtb_ke_house )t groupbycity,layer; 执行情况描述 执行上述HQL，当执行到Map阶段时候，直接退出了当前执行语句，hdfs...

虚拟机在桥接模式下，A类IP地址访问不了外网，C类则可以 写在前面，个人学习记录，有错误请指正！ Ubuntu网络选择——NAT和桥接网卡模式的区别 一、NAT模式： 特点：虚拟机的IP地址是固定不会改变的，不论宿主机是使用公共网络还是手机热点（即使宿主机的IP地址改变，也不会改变虚拟机IP地址），虚拟机和宿主机形成一个网段，无论什么地方，都可以直接连接（在外面看来，虚拟机上网访问的IP地址被认为是宿主机在访问）。 优点：只要宿主机可以正常上网（不论是公共网络还是手机热点），虚拟机都可以访问外网。（宿主机IP地址为：10.203.xx.x）如下图：虚拟机可以ping通宿主机。 测试的...

重装win10纯净版操作系统 ​​一、写在前面：​​ ​​二、安装​​ 一、写在前面： 机器：联想笔记本电脑 文章图片：有的来源于网络（自己在重装过程忘记了截图） 本文仅是记录自己重装操作系统的经验，如果有错误，请指正！ 二、安装 1.步骤如下： 第一步，准备一个官方渠道购买的优盘，不能少于8G，我自己重装的时候用的是16G的金士顿优盘。 第二步，请备份自己磁盘中的重要文件。切记！切记！切记！ 第三步，在msdn官网下载iso文件镜像（这里可以根据自己的需求选择不同的版本，我本人选择的是纯净版的win10ltsc企业版2019）​​注意是下载到优盘​​ 第四步：按照下面推荐的视频操...

虚拟机Ubuntu安装Anaconda及注意事项 ​​0.写在前面​​ ​1.安装步骤​ ​​0.下载Anaconda​​ ​​1.安装Anaconda​​ ​​2.确认安装的路径​​ ​​3.确认conda命令是否可以正常使用​​ ​​4.创建conda虚拟环境​​ ​​5.查看conda版本​​ ​​6.初始化anaconda​​ ​​7.激活conda虚拟环境​​ ​​8.查看当前拥有的conda虚拟环境​​ ​​9.进入Python环境​​ ​​10.退出虚拟环境​​ ​​2.Anaconda安装后每次启动新的窗口命令行前都会出现(base)​​ 0.写在前面 实验环境...

CentOS7.X时间调整为系统时间之后，重新开机就无效了 ​​0.原因分析​​ ​​1.时间修改​​ ​​2.参考​​ 0.原因分析 系统时区非上海 没有同步网络时间 1.时间修改 查看虚拟机系统时间 [root@node01]$timedatectlLocaltime:日2022-09-1810:22:31GMTUniversaltime:日2022-09-1810:22:31UTCRTCtime:日2022-09-1810:22:31Timezone:Atlantic/Reykjavik(GMT,+0000)NTPenabled:n/aNTPsynchronized:...

Linux好用的管道命令 ​1.选取命令​ ​​grep​​ ​​cut「分割」​​ ​2.排序命令​ ​​sort​​ ​​wc​​ ​​uniq​​ ​​3.划分命令split​​ ​​4.参数代换xargs​​ ​5.数据处理工具​ ​​awk​​ ​​6.sed工具​​ ​​7.参考​​ 1.选取命令 grep 用法 grep[-acinv][--clolor=auto]'查找的字符'查找的文件名 参数 -a或--text:将二进制文件以文本文件的方式查找数据。-A<显示行数>或--after-context=<...