ApacheHadoopYARN(YetAnotherResourceNegotiator)是Hadoop的子项目，为分离Hadoop2.0资源管理和计算组件而引入 YRAN具有足够的通用性，可以支持其它的分布式计算模式 一、YARN架构 类似HDFS，YARN也是经典的主从（master/slave）架构 YARN服务由一个ResourceManager（RM）和多个NodeManager（NM）构成 ResourceManager为主节点（master） NodeManager为从节点（slave） ApplicationMaster可以在容器内运行任何类型的任务。例如，M...

一、什么是zookeeper 是Google的Chubby的一个开源实现版 ZooKeeper 一个分布式的，开源的，用于分布式应用程序的协调服务（service） 主从架构 Zookeeper作为一个分布式的服务框架 主要用来解决分布式集群中应用系统的一致性问题 它能提供基于类似于文件系统的目录节点树方式的数据存储， Zookeeper作用主要是用来维护和监控存储的数据的状态变化，通过监控这些数据状态的变化，从而达到基于数据的集群管理 二、zookeeper初体验 从下图观察：ZooKeeper集群目前有两种角色：leader、follower； ZooKeeper集群也...

595.大的国家 🚀World表： +-------------+---------+ |ColumnName|Type| +-------------+---------+ |name|varchar| |continent|varchar| |area|int| |population|int| |gdp|int| +-------------+---------+ name是这张表的主键。 这张表的每一行提供：国家名称、所属大陆、面积、人口和GDP值。 🚀需求 如果一个国家满足下述两个条件之一，则认为该国是大国： 面积至少为300平方公里（即，3000000km2），或者人口至...

大数据技术之高频面试题 版本：V8.0.15 目录 第1章项目涉及技术12 1.1Linux&Shell12 1.1.1Linux常用高级命令12 1.1.2Shell常用工具及写过的脚本13 1.1.3Shell中提交了一个脚本，进程号已经不知道了，但是需要kill掉这个进程，怎么操作?13 1.1.4Shell中单引号和双引号区别13 1.2Hadoop14 1.2.1Hadoop常用端口号14 1.2.2Hadoop配置文件以及简单的Hadoop集群搭建14 1.2.3HDFS读流程和写流程15 1.2.4HDFS小文件处理15 1.2.5HDFS的NameNode内存16 1...

brokerLoad语句 LOAD LABELgaofeng_broker_load_HDD ( DATAINFILE("hdfs://eoop/user/coue_data/hive_db/couta_test/ader_lal_offline_0813_1") INTOTABLEads_user ) WITHBROKER"hdfs_broker" ( "dfs.nameservices"="eadhadoop", "dfs.ha.namenodes.eadhadoop"="nn1,nn2", "dfs.namenode.rpc-address.eadhadoop.nn1"="h4:800...

linux查看文件大小并排序 1、du排序按字节排序，按兆（M）加参数‘h’ du-s/usr/|sort-rn从大到小 du-s/usr/|sort-n从小到大 选择部分列出 du-s/usr/|sort-rn|head前面的10个 du-s/usr/|sort-rn|tail后面的10个 du常用命令du參数： -a或-all显示每一个文件磁盘使用情况 -b或-bytes显示文件夹或文件大小时，以byte为单位。 -c或–total除了显示文件夹或文件的大小外，也显示全部文件夹或文件的总和。 -D或–dereference-args显示指定符号连接的源文件大小。 -h或...

SQL语句如下： 查询当天的所有数据 SELECTFROM表名WHEREDATEDIFF(字段,NOW())=0 SELECTFROM表名WHEREto_days(时间字段名)=to_days(now()); 查询昨天的所有数据 SELECTFROM表名WHEREDATEDIFF(字段,NOW())=-1 SELECTFROM表名WHERETO_DAYS(NOW())TO_DAYS(时间字段名)=1 查询未来第n天的所有数据 //当n为负数时，表示过去第n天的数据 SELECTFROM表名WHEREDATEDIFF(字段,NOW())=n 查询未来n天内所有数据 //n天内 ...

Apacheflink是什么 框架和分布式 无界和有界数据流 有状态 flink框架处理流程 Flink应用场景 ApacheFlink功能强大，支持开发和运行多种不同种类的应用程序。它的主要特性包括：批流一体化、精密的状态管理、事件时间支持以及精确一次的状态一致性保障等。Flink不仅可以运行在包括YARN、Mesos、Kubernetes在内的多种资源管理框架上，还支持在裸机集群上独立部署。在启用高可用选项的情况下，它不存在单点失效问题。事实证明，Flink已经可以扩展到数千核心，其状态可以达到TB级别，且仍能保持高吞吐、低延迟的特性。世界各地有很多要求严苛的流处理应用都运行在Fli...

什么是ETL ETL是数据抽取（Extract）、转换（Transform）、加载（Load）的简写，它是将OLTP系统中的数据经过抽取，并将不同数据源的数据进行转换、整合，得出一致性的数据，然后加载到数据仓库中。简而言之ETL是完成从OLTP系统到OLAP系统的过程 数据仓库的架构 数据仓库（DataWarehouse\DW）是基于OLTP系统的数据源，为了便于多维分析和多角度展现将其数据按特定的模式进行存储而建立的关系型数据库，它不同于多维数据库，数据仓库中的数据是细节的，集成的，数据仓库是面向主题的，是以OLAP系统为分析目的。它包括星型架构与雪花型架构，其中星型架构中间为事实表，四周...

背景介绍: 在这里，从数据的源头，到指标的整理，到数据模型，到指标输出，数据质量，一直和产品形成闭环，我会用kimball建模和onedata,oneservice方法论和技术结合在一起，来如果构建我们的数据中台。 熟悉业务 元数据 指标整理 模型开发 数据质量 提供服务 数据产品闭环 结果 熟悉业务 数据总台，必须要非常熟悉我们的业务，因为指标的整理，模型的创建都离不开我们的业务，如果对业务了解的不够彻底，那么在后面的数据建模上面必然会出现各种疑惑，以及指标的整理，对业务如果不够熟悉，那么对指标的业务口径就定义的不够清晰，导致算出来的指标和计算逻辑到底是否一致，数据是否可信的问题。...

1.数仓的主题和主题域应该怎么划分呢？ 2.用户主题域应该如何设计？ 3.如何整合不同业务来源的用户数据？ 1.主题和主题域应该怎么划分 个人理解:分析领域一般对应主题域,分析领域里涉及到的对象实体一般为主题(类似于维度建模里的维度) 1.主题、主题域、数据域概述: 1.1数仓主题是什么？ 1.1.1主题的概念: 数仓主题(Subject)是在较高层次上将企业信息系统中某一分析对象（重点是分析的对象）的数据进行整合、归类并分析的一种范围，属于一个抽象概念，简单点说每一个主题对应一个宏观分析领域 分析领域里涉及到的对象一般为主题(类似于维度建模里的维度) 1.1.2以ERP系统...

1）SingleUserMode：默认安装hive，hive是使用derby内存数据库保存hive的元数据，这样是不可以并发调用hive的。 2）UserMode：通过网络连接到一个数据库中，是最经常使用到的模式。假设使用本机mysql服务器存储元数据。这种存储方式需要在本地运行一个mysql服务器，可并发调用 3）RemoteServerMode：在服务器端启动一个MetaStoreServer，客户端利用Thrift协议通过MetaStoreServer访问元数据库。 总结 默认 mysql 远程

linux命令是对Linux系统进行管理的命令。对于Linux系统来说，无论是中央处理器、内存、磁盘驱动器、键盘、鼠标，还是用户等都是文件，Linux系统管理的命令是它正常运行的核心，与之前的DOS命令类似。linux命令在系统中有两种类型：内置Shell命令和Linux命令。 命令 功能说明 线上查询及帮助命令(2个) man 查看命令帮助，命令的词典，更复杂的还有info，但不常用。 help 查看Linux内置命令的帮助，比如cd命令。 文件和目录操作命令(18个) ls 全拼list，功能是列出目录的内容及其内容属性信息。 cd 全拼changed...

1.thymeleaf常用配置（最好用默认的） spring: thymeleaf: cache:false mode:LEGACYHTML5 配置了前缀 prefix:classpath:/templates/ 配置了后缀 suffix:.html web: resources: 配置静态文件路径默认是classpath:/static/ static-locations:classpath:/static/ mvc: 静态文件匹配模式 static-path-pattern:/ 一般都有默认的，不用改，知道就会配置就行。 2.设置th的命名空间（加上后item加数据不会爆红） ...

Centos7默认提供的openssl版本是1.0.2的，某些php扩展或者其他软件依赖1.1以上版本 如果过低的话就会报错libssl.so.1.1:cannotopensharedobjectfile:Nosuchfileordirectory 也有执行opensslversion时报错和上面一致，这是由于openssl库的位置不正确或未安装1.1以上版本的问题 想要升级openssl版本则需要手动进行编译，报错解决方式很简单，安装正确即可，下面说一下我以Centos7为例，说一下具体的编译安装步骤 下载openssl从openssl官网下载最新的代码包，因为源站下载速度过慢，所以我...

查询相关日志： [21/May/202323:04:04-0700]viewsERRORJSERROR:{"msg":"UncaughtTypeError:Unabletoprocessbinding\"if:function(){return$parent.history().length>0}\"\nMessage:Unableto processbinding\"foreach:function(){return$parent.history}\"\nMessage:Unabletoprocessbinding\"highlight:function(){return{val...

1、linux是多用户系统，root用户具有最高权限，只有root用户才能创建和删除用户（useraddfxcanduserdelfxc），其他用户无此权限。 2、普通用户之间可以使用su随意进行切换（无需输入密码），但是普通用户向root用户切换时，需要输入root的登陆密码 3、当我们想删除某个用户的时候，出现userxxxiscurrentlyusedbyprocessxxx，可能的原因是你创建用户user1之后，使用su命令切换到user1用户下，之后又想删除user1用户，使用suroot切换到root用户下，使用userdeluser1。出现上述情况的根本原因在于切换回root...

以普通用户身份登录中控机。以 tidb 用户为例，后续安装TiUP及集群管理操作均通过该用户完成： 执行如下命令安装TiUP工具： 刷新环境 重新声明全局环境变量： [tidb@azkaban01opt]$source/home/tidb/.bash_profile 确认TiUP工具是否安装： [tidb@azkaban01opt]$whichtiup 安装TiUPcluster组件： [tidb@azkaban01opt]$tiupcluster tiupischeckingupdatesforcomponentcluster... Anewversio...

@PostMapping("/emp") publicStringaddEmp(Employeeemployee){ System.out.println("保存的员工信息"+employee.toString()); //redirect:表示重定向到一个地址（提交表单最好用重定向免得表单重复提交） //forward:表示转发到一个地址 //"/"代表当前项目路径 return"redirect:/emps"; } forward:请求转发 redirect：重定向 原理 Ctrl+Shift+T查找到ThymeleafAutoConfiguration这个自动配置类，然...

HDFS上tmp/hive空间资源占用过大的原因，有啥清理机制呢 Hive的临时目录是用来存放不同阶段的map/reduce任务的执行计划和中间结果的，如果Hive任务成功完成的话，临时文件会被自动清理，如果Hive任务被取消或者中断，那么这个任务的临时文件就会被遗留下来。 可以手动删除这些旧文件，但不要删除任务还未完成的临时文件。也可以通过cronjob来定期删除无效的临时文件。 另外，也可以通过配置hive.start.cleanup.scratchdir在每次启动Hive时自动清理，要注意如果配置了这个参数，重启Hive时会花比较长的时间清理临时文件。 在Clouderamanage...