1.1共识机制 1.1.1核心定义 区块链上的共识机制主要解决由谁来构造区块，以及如何维护区块链统一的问题 1.1.2共识机制分类 1.1.3共识算法 1.1.3.1POW(工作量证明) 代表项目：BTC 由于不同的节点接受数据有所区别，为了保证数据一致性，每个区块数据只能由一个节点进行记录。BTC通过“工作量证明”（ProofofWork，PoW）来确认记账节点。每个节点如果想生成一个新的区块并写入区块链，必须解出比特币网络出的PoW问题。其关键的要素是工作量证明函数、区块信息及难度值。工作量证明函数是这道题的计算方式，区块决定了这道题的输入数据，难度值决定了这道题所需要的计算量。可以简单...

1.2密码学及安全技术 1.2.1密码学知识 1.2.1.1Hash函数 Hash(哈希)哈希函数是一类数学函数，可以在有限合理的时间内，将任意长度的消息压缩为固定长度的输出值，并且是不可逆的。其输出值称为哈希值，也称为散列值。 哈希算法的应用：消息认证：确保收到的消息和发送的消息都是未被篡改的。数字签名：对消息摘要进行数字签名与对消息本身进行数字签名等效。口令的安全性：仅将口令的哈希值进行保存，进行口令检验时仅需对比哈希值即可，即使攻击者获取了口令的哈希值，也无法计算出口令。数据完整性：具有抗数据篡改的能力。 Hash函数在区块链中的应用在区块链系统中，哈希算法得到了广泛的使用。在区块链...

1检查点机制 1.1CheckPoints 为了使Flink的状态具有良好的容错性，Flink提供了检查点机制(CheckPoints)。通过检查点机制，Flink定期在数据流上生成checkpointbarrier，当某个算子收到barrier时，即会基于当前状态生成一份快照，然后再将该barrier传递到下游算子，下游算子接收到该barrier后，也基于当前状态生成一份快照，依次传递直至到最后的Sink算子上。当出现异常后，Flink就可以根据最近的一次的快照数据将所有算子恢复到先前的状态。 1.2开启检查点 默认情况下，检查点机制是关闭的，需要在程序中进行开启： //开启检查点机制...

运行时组件 作业管理器（JobManager） 控制一个应用程序执行的主进程，也就是说，每个应用程序都会被一个不同的JobManager所控制执行 JobManager会先接收到要执行的应用程序，这个应用程序会包括：作业图（JobGraph）、逻辑数据流图（logicaldataflowgraph）和打包了所有的类、库和其它资源的JAR包 JobManager会把JobGraph转换成一个物理层面的数据流图，这个图被叫做“执行图”（ExecutionGraph），包含了所有可以并发执行的任务 JobManager会向资源管理器（ResourceManager）请求执行任务必要的资源，也...

需求分析 按省份|用户性别|用户年龄段，统计当日新增付费用户首单平均消费及人数占比 技术栈 数据库监控与采集maxwell 实时数仓存储kafka 实时计算sparkstream 中间层OLAPhbase 可视化层OLAPelasticsearch topicoffset手动提交redis BI可视化echart、Superset、Kibana 业务流程 Maxwell监控抓取MySQL数据 bootstrap采集维度数据 bin/maxwell-bootstrap--usermaxwell--password--hostchandao--databasegmall--tab...

RFM用户价值模型 1需求 假设我是一个市场营销者,在做一次活动之前,我可能会思考如下问题 谁是我比较有价值的客户? 谁是比较有潜力成为有价值的客户? 谁快要流失了? 谁能够留下来? 谁会关心这次活动? 其实上面这些思考,都围绕一个主题价值 RFM是一个最常见的用来评估价值的和潜在价值的工具 2RFM是什么RFM 通过最后一次消费距今时间,单位时间内的消费频率,平均消费金额来评估一个人对公司的价值,可以理解为RFM是一个集成的值,如下RFM=Rencency(最后一次消费时间),Frequency(消费频率),Monetary(消费金额) RFM模型可以说明如下事实: 最近一次购买时...

1基础预览 1.1环境准备 Springboot1.5.6.RELEAS SpringcloudDalston.SR2 1.2交换机类型 交换机是用来发送消息的AMQP实体。交换机拿到一个消息之后将它路由给一个或零个队列。它使用哪种路由算法是由交换机类型和被称作绑定（bindings）的规则所决定的。AMQP0-9-1的代理提供了四种交换机 Name（交换机类型）Defaultpre-declarednames（预声明的默认名称）Directexchange（直连交换机）(Emptystring)andamq.directFanoutexchange（扇型交换机）amq.fano...

倒排索引 全文搜索引擎目前主流的索引技术就是倒排索引的方式。传统的保存数据的方式都是：记录→单词。而倒排索引的保存数据的方式是：单词→记录,基于分词技术构建倒排索引,每个记录保存数据时，都不会直接存入数据库。系统先会对数据进行分词，然后以倒排索引结构保存。 可以看到Lucene为倒排索引(TermDictionary)部分又增加一层TermIndex结构，用于快速定位，而这TermIndex是缓存在内存中的，但MySQL的B+tree不在内存中，所以整体来看ES速度更快，但同时也更消耗资源（内存、磁盘） 集群操作 集群健康状态GET/_cat/health?v绿–一切正常(集群功能齐全...

01产品分析与定位 02微服务架构设计 以业务为中心 高内聚低耦合 高度自治 弹性设计 日志与监控 自动化 03实时消息推送技术演进 接入层负载均衡基于http七层负载均衡，从HA演进到Nginx HA支持TCP与Http协议，支持8种负载均衡策略，支持通过URL健康检测，支持心跳检测，工作在网络4层和7层,但对ws协议支持不好，造成ws消息堆积 Nginx支持Http协议，工作在网络7层，支持WebSocket协议，支持通过端口健康检测，支持强大的正则匹配规则 Nginx分流： server172.16.125.76:8066weight=10; server172.16....

1.2密码学及安全技术 1.2.1密码学知识 1.2.1.1Hash函数 Hash(哈希)哈希函数是一类数学函数，可以在有限合理的时间内，将任意长度的消息压缩为固定长度的输出值，并且是不可逆的。其输出值称为哈希值，也称为散列值。 哈希算法的应用：消息认证：确保收到的消息和发送的消息都是未被篡改的。数字签名：对消息摘要进行数字签名与对消息本身进行数字签名等效。口令的安全性：仅将口令的哈希值进行保存，进行口令检验时仅需对比哈希值即可，即使攻击者获取了口令的哈希值，也无法计算出口令。数据完整性：具有抗数据篡改的能力。 Hash函数在区块链中的应用在区块链系统中，哈希算法得到了广泛的使用。在区块链...