前言：关于kyuubi的原理和功能这里不做详细的介绍，感兴趣的同学可以直通官网：https://kyuubi.readthedocs.io/en/v1.7.1-rc0/index.html 下载软件版本 wgethttp://distfiles.macports.org/scala2.12/scala-2.12.16.tgz wgethttps://archive.apache.org/dist/maven/maven-3/3.8.4/binaries/apache-maven-3.8.4-bin.tar.gz wgethttps://archive.apache.org/dist/...

在数据存储和处理领域，HBase作为一种分布式、可扩展的NoSQL数据库，被广泛应用于大规模数据的存储和分析。然而，随着业务需求的变化和技术发展的进步，有时候我们需要将现有的HBase数据迁移到其他环境或存储系统。HBase数据迁移是一个复杂而关键的任务，它涉及到保证数据完整性、准确性和安全性，同时还需要考虑版本兼容性、网络带宽、数据量等因素。从Hbase本身的设计架构上可以知道hbase的表是基于hadoopHDFS构建，所以一般在迁移Hbase表数据的时候需要关注到两个维度，hbase层和hdfs层，下图包含常见的一些迁移工具和手段。  在不同的适用场景下，对于hbase的迁...

今天分享的主题是“如何回答好一个问题”。通过与同学们进行交流，发现一个比较普遍的现象，大家在回答问题时，时常会让面试官觉得自己在背八股，从而影响面试官的印象。那么我们应该怎么避免这种情况呢？ 1.基础知识点 对于基础知识点，大家在平时要多思考底层的逻辑及实现原理。比如：我们都知道在JDK1.8后，HashMap的底层结构是数组+链表|红黑树，在满足一定条件下会将链表结构转换为红黑树结构。那么我们是否考虑过为什么需要一个转换过程呢？直接使用红黑树结构不可以嘛？或者使用其他的树结构是否可行？   当我们在背八股的过程中，不断去提出问题、解决问题，这样在面试时就会更加的游刃有余...

1.前言 数据质量是悬在每个数据同学头顶的达摩克里斯之剑。一旦我们对其缺少敬畏，或是我们的“武器”不够丰富，缺乏有效的质量保障措施；这把剑就会无情落下。数据质量保障符合蝴蝶效应，只要数据链路上任何一个小的细节点出现问题，则实时数据的质量会大幅度下降，因此需要构建数据质量的全链路监控，从数据研发到数据消费都需要重点监控，并通过一定的流程机制保障数据参与方的规范性，以此来保障数据全生命周期的质量健康度。本文会结合离线和实时数据建设场景谈谈对数据质量全链路建设认知。 2.数据质量类别 无论是离线和实时数据建设，对于数据质量的要求是一致的，都是追求数据的完整性，规范性，一致性，准确性，关联性。 1....

最近在搞一些面试和课程答辩的时候，问什么是窗口函数，知道哪些窗口函数?最多的答案就是row_number、rank、dense_rank，在问一下还有其他的吗？这时同学就蒙了,还有其他的窗口函数？其实上面的回答也只是专用窗口函数，并不是窗口函数的整体定义，那今天我们就来好好聊聊窗口函数。 1.窗口函数概念 我们首先来谈谈什么是窗口函数，窗口函数是指，在指定的数据滑动窗口中，实现各种统计分析的操作。窗口函数是与分析函数一起使用，或按照专用窗口函数使用，组成比如：窗口聚合函数、窗口排序函数等实用函数。 常用的分析函数：sum()、max()、min()、avg()、count()、.........

随着秋招提前批、正式批逐步开始，7月中旬开始投递到9月初，我拿到了第一份大厂的正式意向Offer。到国庆节前为止，陆续收到了5，6个Offer意向。趁着国庆放假期间，也做了一些自我总结，在这里分享给大家。 1.准备简历 简历是你与面试官建立第一印象的关键工具，应保证内容的饱满和编写风格清晰简洁。简历内容主要凸显两个点，一是与岗位的匹配度，二是能力的展示。 就大数据开发方向而言，需要掌握的技能主要有以下几个点： ①计算机基础及Java编程语言及SQL语言：重点掌握计算机网络、数据结构、面向对象编程思想、Java基础、JVM、多线程、SQL基础。 ②大数据组件：Hadoop框架（HDFS、Map...

在正文开始之前，请先来回答一下这个问题： 题目：输入为3个文件，a.txt300MB,b.txt100MB,c.txt58.MB，使用MapReduce的example程序，计算Wordcount，请问，应该有多少个MapTask？ A、5B、4C、3D、2  这是一个MR知识点中非常简单的一个问题，其中涉及到的知识点大概如下： 1.HDFS Block拆分，为啥是128MB HDFS选择将数据块的默认大小设置为128MB，有以下几个原因： 1.减少元数据开销：较大的数据块大小可以减少元数据（metadata）的数量，因为元数据存储了文件的信息，如文件名、权限和数据...

1.前言 书接上回：手把手教你搭建用户画像系统（入门篇上）；手把手教你搭建用户画像系统（入门篇下），我们介绍了搭建一个完整的用户画像项目，也开设了对应的项目课程《涤生大数据之互联网金融用户画像项目》，相信入坑的小伙伴学完以后，都知道一个用户画像系统的从0到1的过程。 在建设画像体系中最重要的就是打标签，经过前期标签体系设计、标签加工，标签终于可以上线，随着标签上线一段时间后，我们开始关心每天占用计算资源与存储空间，跑出来的上百个标签，业务同学真的用到了多少，业务收益是否能覆盖数据成本呢？标签上线后，其质量怎么样，是否存在老规则不适用、需要持续优化的情况？那今天我们就来讲讲数据治理应用中的用户...

1.隐式转换的概念 隐式转换是将A转换成B，但并不是A真的就成了B，而是A本来的属性仍存在的同时又拥有了B的属性，这使得了A本身不发生变化的同时，扩大了功能，此属于蒙面设计模式。又因为A直接使用了B的功能而不需要对A进行修改，因此此转换是隐式的，使用implicit修饰。所以简单的说隐式转换就是增强类型，扩展功能。 2.隐式转换适用情况 隐含转换适用于两种情况： 1)、如果表达式e是类型S，并且S不符合表达式的期望类型T 2)、在具有类型S的e的e.m表达中，如果m不表示S的成员 在第一种情况下，搜索适用于e并且其结果类型符合T的转换c。在第二种情况下，搜索适用于e的转换c，其结果包含名为m...

1.标签存储 1.1Hive存储 Hive是最基础的存储，主要存储标签计算结果集，跑spark作业或MapReduce作业，处理大量的数据集时使用。 1.2Mysql存储 存储一些数量级较少的标签。MySQL的读写不用跑mapreduce作业，对于小量的数据读写速度很快。用于存储元数据、标签量级的监控、一些表加工结果的状态位、业务系统中读取的一些数据。 1.3HBase存储 存储线上推荐给用户的实时性较强的数据,在画像产品化章节中有讲到圈人服务，业务方根据规则圈定人群后进一步通过分析明确该人群是其要运营的人群后，将该人群推送到相应的业务系统中，有的业务系统使用hbase提供服务。如广告系统、...

续接上文：还不知道数据类岗位的相关技能和职责吗？涤生大数据告诉你（一） 1.数据治理工程师 工作职责 数据治理工程师的工作职责主要包括以下几个方面： 1.数据管理策略制定：制定和实施数据管理策略，包括数据收集、存储、处理和使用的规范和流程，确保数据的可靠性和一致性。 2.数据质量管理：评估和监控数据质量，发现和解决数据质量问题，确保数据的准确性、完整性和一致性。 3.数据安全和隐私保护：制定和执行数据安全策略和措施，保护数据的安全性和隐私，防止数据泄露和非法使用。 4.数据架构设计：设计和维护适合业务需求的数据架构，包括逻辑模型和物理模型，确保数据的有效组织和高效利用。 5.数据治理工具和...

很多同学在求职中对数据类岗位傻傻分不清楚，投递简历的时候胡乱投递，本篇文章给大家讲讲数仓开发，etl开发，数据开发，数据治理工程师，BI工程师以及数据运维工程师这些数据类岗位的工作职责以及和数仓开发的区别。同时为了大家更加深入地了解各岗位的区别，也给大家讲解了一下这些岗位在日常工作当中的一些工作交集。 1.数仓开发工程师   工作职责 数仓工程师是负责构建和维护数据仓库的专业人员。数据仓库是一个集成、一致且易于查询的数据存储，用于支持企业的业务分析和决策。数仓工程师的主要任务包括以下几个方面： 1.数据整合和转换：数仓工程师负责从不同的数据源中提取数据，并将其整合到数据仓...

1总述 校招是远不同于社招的，企业对学生的要求更多的是一些概念性的东西，即所谓的八股文。但有些场景类的题目也是会涉及到，尤其是在一些中大厂的面试题中。场景题固然是能不能中大厂中必不可少的部分，但是基础牢不牢才是能不能拿下大厂的关键部分。下面，就介绍下在校招面试中Hadoop都问些什么内容？（不多，但都是经典中的经典）。 2HDFS部分 问题1：介绍下什么是HDFS（HadoopDistributedFileSystem）？它的特点是什么。 HadoopDistributedFileSystem（HDFS）是ApacheHadoop生态系统的一个核心组件，是一个可扩展的分布式文件系统，用于存储...

本文实习面试总结来自一位非科班（机械专业）出身的在校生。 作为一个大数据领域的校招实习生，我在这里想分享一下我的经验和教训，希望对大家有所帮助。 1简历投递准备 在准备简历时，首先需要准确地把握自己的技能和优势，突出自己的特点。大数据领域需要的技能很多，除了基本的编程语言（如Java、Python）和数据分析工具（如Hadoop、Spark）外，还需要了解一些数据挖掘、机器学习和深度学习等领域的算法和模型。 在简历中，我详细列出了自己的技能和经历，包括所学课程、参加过的项目和实践经验等。同时，我也注重突出自己的个人特点，如独立思考能力、团队协作能力等。此外，需要准备一份精美的简历模板，以增加...