《数据资产管理核心技术与应用》是清华大学出版社出版的一本图书，全书共分10章，第1章主要让读者认识数据资产，了解数据资产相关的基础概念，以及数据资产的发展情况。第2～8章主要介绍大数据时代数据资产管理所涉及的核心技术，内容包括元数据的采集与存储、数据血缘、数据质量、数据监控与告警、数据服务、数据权限与安全、数据资产管理架构等。第9～10章主要从实战的角度介绍数据资产管理技术的应用实践，包括如何对元数据进行管理以发挥出数据资产的更大潜力，以及如何对数据进行建模以挖掘出数据中更大的价值。 图书介绍：数据资产管理核心技术与应用 今天主要是给大家分享一下第五章的内容： 第五章的标题为数据服务 内容思维...

《数据资产管理核心技术与应用》是清华大学出版社出版的一本图书，全书共分10章，第1章主要让读者认识数据资产，了解数据资产相关的基础概念，以及数据资产的发展情况。第2～8章主要介绍大数据时代数据资产管理所涉及的核心技术，内容包括元数据的采集与存储、数据血缘、数据质量、数据监控与告警、数据服务、数据权限与安全、数据资产管理架构等。第9～10章主要从实战的角度介绍数据资产管理技术的应用实践，包括如何对元数据进行管理以发挥出数据资产的更大潜力，以及如何对数据进行建模以挖掘出数据中更大的价值。 图书介绍：数据资产管理核心技术与应用 今天主要是给大家分享一下第四章的内容： 第四章的标题为数据质量的技术实现...

《数据资产管理核心技术与应用》是清华大学出版社出版的一本图书，全书共分10章，第1章主要让读者认识数据资产，了解数据资产相关的基础概念，以及数据资产的发展情况。第2～8章主要介绍大数据时代数据资产管理所涉及的核心技术，内容包括元数据的采集与存储、数据血缘、数据质量、数据监控与告警、数据服务、数据权限与安全、数据资产管理架构等。第9～10章主要从实战的角度介绍数据资产管理技术的应用实践，包括如何对元数据进行管理以发挥出数据资产的更大潜力，以及如何对数据进行建模以挖掘出数据中更大的价值。 图书介绍：数据资产管理核心技术与应用 今天主要是给大家分享一下第五章的内容： 第五章的标题为数据服务 内容思维...

《软件性能测试分析与调优实践之路》(第2版) 是清华大学出版社出版的一本图书，作者为张永清，全书共分为9章，如下图所示  图书介绍：《软件性能测试分析与调优实践之路》(第2版)  本文是接着  《软件性能测试分析与调优实践之路》(第2版)读书笔记（一）总体介绍（上）-真正从性能分析与调优来看性能测试 继续往下讲。 6）、性能分析与调优实践（索引与分库分表） 分库分表时，插入数据时，可以按照如下图所示的方式来进行分库分表的写入数据。 查询数据时可以按照如下图所示的方式来进行查询，下图中的路由表非常的关键，用于能快速的定位到需要查询的数据是在哪个分库和分...

《数据资产管理核心技术与应用》是清华大学出版社出版的一本图书，全书共分10章，第1章主要让读者认识数据资产，了解数据资产相关的基础概念，以及数据资产的发展情况。第2～8章主要介绍大数据时代数据资产管理所涉及的核心技术，内容包括元数据的采集与存储、数据血缘、数据质量、数据监控与告警、数据服务、数据权限与安全、数据资产管理架构等。第9～10章主要从实战的角度介绍数据资产管理技术的应用实践，包括如何对元数据进行管理以发挥出数据资产的更大潜力，以及如何对数据进行建模以挖掘出数据中更大的价值。 图书介绍：数据资产管理核心技术与应用 今天主要是给大家分享一下第四章的内容： 第四章的标题为数据质量的技术实现...

《软件性能测试分析与调优实践之路》(第2版) 是清华大学出版社出版的一本图书，作者为张永清，全书共分为9章，如下图所示  图书介绍：《软件性能测试分析与调优实践之路》(第2版)  1、为什么需要性能测试与分析 1）、了解系统的各项性能指标，通过性能压测来了解系统能承受多大的并发访问量、系统的平均响应时间是多少、系统的TPS是多少等。2）、发现系统中存在的性能问题，常见的性能问题如下： 系统中是否存在负载均衡不均的情况。负载均衡不均匀一般指的是在并发的情况下，每台服务器接收的并发压力不均匀，从而导致部分服务器因为压力过大而出现性能急剧下降，以及部分服务器因为并发...

《数据资产管理核心技术与应用》是清华大学出版社出版的一本图书，全书共分10章，第1章主要让读者认识数据资产，了解数据资产相关的基础概念，以及数据资产的发展情况。第2～8章主要介绍大数据时代数据资产管理所涉及的核心技术，内容包括元数据的采集与存储、数据血缘、数据质量、数据监控与告警、数据服务、数据权限与安全、数据资产管理架构等。第9～10章主要从实战的角度介绍数据资产管理技术的应用实践，包括如何对元数据进行管理以发挥出数据资产的更大潜力，以及如何对数据进行建模以挖掘出数据中更大的价值。 图书介绍：数据资产管理核心技术与应用 今天主要是给大家分享一下第三章的内容： 第三章的标题为数据血缘 内容思维...

《数据资产管理核心技术与应用》是清华大学出版社出版的一本图书，全书共分10章，第1章主要让读者认识数据资产，了解数据资产相关的基础概念，以及数据资产的发展情况。第2～8章主要介绍大数据时代数据资产管理所涉及的核心技术，内容包括元数据的采集与存储、数据血缘、数据质量、数据监控与告警、数据服务、数据权限与安全、数据资产管理架构等。第9～10章主要从实战的角度介绍数据资产管理技术的应用实践，包括如何对元数据进行管理以发挥出数据资产的更大潜力，以及如何对数据进行建模以挖掘出数据中更大的价值。 图书介绍：《数据资产管理核心技术与应用》 今天主要是给大家分享一下第一章的内容： 第一章的标题为认识数据资产，...

《数据资产管理核心技术与应用》是清华大学出版社出版的一本图书，全书共分10章，第1章主要让读者认识数据资产，了解数据资产相关的基础概念，以及数据资产的发展情况。第2～8章主要介绍大数据时代数据资产管理所涉及的核心技术，内容包括元数据的采集与存储、数据血缘、数据质量、数据监控与告警、数据服务、数据权限与安全、数据资产管理架构等。第9～10章主要从实战的角度介绍数据资产管理技术的应用实践，包括如何对元数据进行管理以发挥出数据资产的更大潜力，以及如何对数据进行建模以挖掘出数据中更大的价值。 图书介绍：数据资产管理核心技术与应用 今天主要是给大家分享一下第二章的内容： 第二章的标题为元数据的采集与存储...

《数据资产管理核心技术与应用》是由清华大学出版社出版的一本图书，该图书主要特点如下： 1、依托于大数据技术，独家解密数据血缘的底层技术实现 2、详解数据资产管理的知识体系和核心技术 3、应用元数据管理和数据建模技术，充分发挥出数据资产的更大潜力和价值。 4、全书从元数据、数据血缘、数据质量、数据服务、数据监控、数据建模、数据架构等多个维度来剖析大数据资产管理的核心技术与应用。 5、全书配套了PPT课件以及作者微信答疑服务 核心章节介绍如下：全书依托于大数据技术，独家解密数据血缘的底层技术实现 通常来说，数据血缘的来源可以包括数据源自身、数据处理的任务、数据任务的编排系统等。 数据源自身：比如...

本文节选自清华大学出版社出版的图书《数据资产管理核心技术与应用》，作者为张永清等著。 从Spark执行计划中获取数据血缘 因为数据处理任务会涉及到数据的转换和处理，所以从数据任务中解析血缘也是获取数据血缘的渠道之一，Spark是大数据中数据处理最常用的一个技术组件，既可以做实时任务的处理，也可以做离线任务的处理。Spark在执行每一条SQL语句的时候，都会生成一个执行计划，这一点和很多数据库的做法很类似，都是SQL语句在执行时，先生成执行计划。如下图3-1-10所示，在Spark的官方文档链接https://spark.apache.org/docs/latest/sql-ref-syntax...

在做MySQL数据的性能定位前，需要先知道MySQL查询时数据库内部的执行过程。只有弄清SQL的执行过程，才能对执行过程中的每一步的性能做定位分析。如图6-2-1所示。 图6-2-1 从图中可以看到，当查询出数据以后，会将数据先返回给执行器，此时执行器先将结果写到查询缓存里面，这样在下次查询相同的数据时，就可以直接从缓存中查询并且返回，同时将结果返回给客户端。分析器会对待查询的SQL语句做执行计划的分析，而优化器会对SQL语句做重新优化，以便SQL的查询性能达到最佳。 6.2.1 慢SQL 每条SQL语句在执行时都需要消耗一定的I/O资源，SQL语句执行的快慢直接决定了硬件资源被占...

一、SpringCloud支持的常见注册中心和配置中心。 SpringCloud自带的注册中心Eureka以及config配置中心 Nacos，支持注册中心和配置中心等，可以参考：https://www.cnblogs.com/laoqing/p/17797759.html Zookeeper Consul Etcd Kubernetes，当SpringCloud服务都是通过Kubernetes部署时，可以使用Kubernetes作为注册中心和配置中心。 二、SpringCloud部署时如何使用Kubernetes作为注册中心和配置中心 SpringCloudKubernetes提供了使用...

1.性能指标曲线频繁出现大幅度抖动 如图7-5-1所示，TPS和平均响应时间出现频繁的上下抖动。频繁抖动说明系统并不是一直在稳定地运行，中间会有短暂的停顿，就是持续运行了一段时间后，马上会停顿一下，然后又继续运行，持续地这样交替进行，造成了系统的频繁剧烈抖动。    图7-5-1 造成频繁抖动现象的原因可能有以下几种：（节选自《软件性能测试、分析与调优实践之路》(第2版)，作者张永清，转载请注明出处） （1）系统可能在频繁的出现FullGC。FullGC是Java应用程序垃圾回收的一种机制，一般如果出现了FullGC，应用程序就会出现短暂的停顿。关于FullGC的...

一、SpringCloud简介 SpringCloud是一系列框架的有序集合如服务发现注册、配置中心、消息总线、负载均衡、熔断器、数据监控等。 SpringCloud将多个服务框架组合起来，通过SpringBoot进行再封装，屏蔽掉了复杂的配置和实现原理，最终给开发者提供了一套简单易懂、易部署和易维护的分布式系统开发工具包。  SpringCloud是一个基于SpringBoot实现的微服务开发方案，Springboot是Spring的一套快速配置框架。可以基于springboot快速开发单个微服务。 二、NACOS简介 一个更易于构建云原生应用的动态服务发现、配置管理和服务管理平...

1 、MySQL数据库的性能监控 1.1、如何查看MySQL数据库的连接数 连接数是指用户已经创建多少个连接，也就是MySQL中通过执行SHOW PROCESSLIST命令输出结果中运行着的线程个数的详情，如图所示。 SHOWPROCESSLIST默认情况下只显示前100条记录的详情，如果超过100条后需要显示所有，可以通过执行SHOW FULL PROCESSLIST命令，如图所示。   showvariableslike'max_connections'可以查询数据库中可以支持的最大连接数，如图所示。 本文作者：张永清， 转载请...