eDx7eii7I8JJ
基础自然语言处理（NLP）自然语言处理PaddleNLP-词向量应用展示自然语言处理（NLP）-前预训练时代的自监督学习自然语言处理PaddleNLP-预训练语言模型及应用自然语言处理PaddleNLP-文本语义相似度计算（ERNIE-Gram）自然语言处理PaddleNLP-词法分析技术及其应用自然语言处理PaddleNLP-快递单信息抽取理解自然语言处理PaddleNLP-信息抽取技术及应用自然语言处理PaddleNLP-基于预训练模型完成实体关系抽取--实践自然语言处理PaddleNLP-情感分析技术及应用-理论自然语言处理PaddleNLP-情感分析技术及应用SKEP-实践问答自然语言...
基础自然语言处理（NLP）自然语言处理PaddleNLP-词向量应用展示自然语言处理（NLP）-前预训练时代的自监督学习自然语言处理PaddleNLP-预训练语言模型及应用自然语言处理PaddleNLP-文本语义相似度计算（ERNIE-Gram）自然语言处理PaddleNLP-词法分析技术及其应用自然语言处理PaddleNLP-快递单信息抽取理解自然语言处理PaddleNLP-信息抽取技术及应用自然语言处理PaddleNLP-基于预训练模型完成实体关系抽取--实践自然语言处理PaddleNLP-情感分析技术及应用-理论自然语言处理PaddleNLP-情感分析技术及应用SKEP-实践问答自然语言...
基础自然语言处理（NLP）自然语言处理PaddleNLP-词向量应用展示自然语言处理（NLP）-前预训练时代的自监督学习自然语言处理PaddleNLP-预训练语言模型及应用自然语言处理PaddleNLP-文本语义相似度计算（ERNIE-Gram）自然语言处理PaddleNLP-词法分析技术及其应用自然语言处理PaddleNLP-快递单信息抽取理解自然语言处理PaddleNLP-信息抽取技术及应用自然语言处理PaddleNLP-基于预训练模型完成实体关系抽取--实践自然语言处理PaddleNLP-情感分析技术及应用-理论自然语言处理PaddleNLP-情感分析技术及应用SKEP-实践问答自然语言...
基础自然语言处理（NLP）自然语言处理PaddleNLP-词向量应用展示自然语言处理（NLP）-前预训练时代的自监督学习自然语言处理PaddleNLP-预训练语言模型及应用自然语言处理PaddleNLP-文本语义相似度计算（ERNIE-Gram）自然语言处理PaddleNLP-词法分析技术及其应用自然语言处理PaddleNLP-快递单信息抽取理解自然语言处理PaddleNLP-信息抽取技术及应用自然语言处理PaddleNLP-基于预训练模型完成实体关系抽取--实践自然语言处理PaddleNLP-情感分析技术及应用-理论自然语言处理PaddleNLP-情感分析技术及应用SKEP-实践问答自然语言...
基础自然语言处理（NLP）自然语言处理PaddleNLP-词向量应用展示自然语言处理（NLP）-前预训练时代的自监督学习自然语言处理PaddleNLP-预训练语言模型及应用自然语言处理PaddleNLP-文本语义相似度计算（ERNIE-Gram）自然语言处理PaddleNLP-词法分析技术及其应用自然语言处理PaddleNLP-快递单信息抽取理解自然语言处理PaddleNLP-信息抽取技术及应用自然语言处理PaddleNLP-基于预训练模型完成实体关系抽取--实践自然语言处理PaddleNLP-情感分析技术及应用-理论自然语言处理PaddleNLP-情感分析技术及应用SKEP-实践问答自然语言...
基础自然语言处理（NLP）自然语言处理PaddleNLP-词向量应用展示自然语言处理（NLP）-前预训练时代的自监督学习自然语言处理PaddleNLP-预训练语言模型及应用自然语言处理PaddleNLP-文本语义相似度计算（ERNIE-Gram）自然语言处理PaddleNLP-词法分析技术及其应用自然语言处理PaddleNLP-快递单信息抽取理解自然语言处理PaddleNLP-信息抽取技术及应用自然语言处理PaddleNLP-基于预训练模型完成实体关系抽取--实践自然语言处理PaddleNLP-情感分析技术及应用-理论自然语言处理PaddleNLP-情感分析技术及应用SKEP-实践问答自然语言...
目录 知识图谱 定义 基础概念： 知识图谱构建的关键技术 知识图谱的构建 实体命名识别 知识抽取 实体统一 指代消解 知识图谱的存储 RDF和图数据库的主要特点区别 知识图谱能干什么 反欺诈 不一致性验证 客户失联管理 知识推理 常见图数据库 2012年5月17日，Google正式提出了知识图谱（KnowledgeGraph）的概念，其初衷是为了优化搜索引擎返回的结果，增强用户搜索质量及体验。 假设我们想知道“王健林的儿子”是谁，百度或谷歌一下，搜索引擎会准确返回王思聪的信息，说明搜索引擎理解了用户的意图，知道我们要找“王思聪”，而不是仅仅返回关键词为“王健林的...
数仓分层 分层 全称 译名 说明 生成计算工具 存储媒介 压缩 列式存储 分区 ODS OperationDataStore 原始层 原始数据 FlinkCDC Kafka ✅ ❌ ✅ DIM Dimension 维度层 合并维度表 Flink HBase ✅ ✅ ✅ DWD DataWarehouseDetail 明细层 数据处理、维度建模 Flink Kafka ✅ ✅ ✅ DWM DataWarehouseMiddle 中间层 聚合 Flink Kafka ✅ ✅ ✅ DWS DataWarehouseService 服务层 去主键聚合，得到原子指标 Fl...
CDC CDC是ChangeDataCapture(变更数据获取)的简称。核心思想是，监测并捕获数据库的变动（包括数据或数据表的插入、更新以及删除等），将这些变更按发生的顺序完整记录下来，写入到消息中间件中以供其他服务进行订阅及消费。 CDC的种类 CDC主要分为基于查询和基于Binlog两种方式，我们主要了解一下这两种之间的区别： 基于查询的CDC 基于Binlog的CDC 开源产品 Sqoop、KafkaJDBCSource Canal、Maxwell、Debezium 执行模式 Batch Streaming 是否可以捕获所有数据变化 否 是 延迟性 高延迟 ...
我们前面采集的日志数据已经保存到Kafka中，作为日志数据的ODS层，从Kafka的ODS层读取的日志数据分为3类,页面日志、启动日志和曝光日志。这三类数据虽然都是用户行为数据，但是有着完全不一样的数据结构，所以要拆分处理。将拆分后的不同的日志写回Kafka不同主题中，作为日志DWD层。流页面日志输出到主流,启动日志输出到启动侧输出流,曝光日志输出到曝光侧输出流 识别新老用户 本身客户端业务有新老用户的标识，但是不够准确，需要用实时计算再次确认(不涉及业务操作，只是单纯的做个状态确认)。 启动日志曝光日志页面日志 实现逻辑 获取执行环境 消费ods_base_log主题数据创建流 将每行数据...
大数据ODS&DWD&DIM-SQL分享需求 思路一：等差数列 断2天、3天，嵌套太多 1.1开窗，按照id分组，同时按照dt排序，求Rank -linux中空格不能用 tab键 selectid,dt,rank()over(partitionbyidorderbydt)rkfromtx; 1.2将每行日期减去RK值，如果之前是连续的日期，则相减之后为相同日期 z:等差(x1+z)-(y1+z)=x1-y1 selectid,dt,date_sub(dt,rk)flg from(selectid,dt,rank()over(partitionbyidorderbydt)rk...
DWM建表，需要看DWS需求。 DWS来自维度（访客、商品、地区、关键词），为了出最终的指标ADS需求指标DWT为什么实时数仓没有DWT，因为它是历史的聚集，累积结果，实时数仓中不需要DWD不需要加工DWM需要加工的数据 统计主题 需求指标【ADS】 输出方式 计算来源 来源层级 访客【DWS】 pv 可视化大屏 page_log直接可求 dwd UV（DAU） 可视化大屏 需要用page_log过滤去重 dwm 跳出率 可视化大屏 需要通过page_log行为判断 dwm 进入页面数 可视化大屏 需要识别开始访问标识 dwd 连续访问时长 可视化大屏 pag...
统计主题 需求指标【ADS】 输出方式 计算来源 来源层级 访客【DWS】 pv 可视化大屏 page_log直接可求 dwd UV（DAU） 可视化大屏 需要用page_log过滤去重 dwm UJ跳出率 可视化大屏 需要通过page_log行为判断 dwm 进入页面数 可视化大屏 需要识别开始访问标识 dwd 连续访问时长 可视化大屏 page_log直接可求 dwd 商品 点击 多维分析 page_log直接可求 dwd 收藏 多维分析 收藏表 dwd 加入购物车 多维分析 购物车表 dwd 下单 可视化大屏 订单宽表 dwm ...
之前数据分层处理，最后把轻度聚合的结果保存到ClickHouse中，主要的目的就是提供即时的数据查询、统计、分析服务。这些统计服务一般会用两种形式展现，一种是为专业的数据分析人员的BI工具，一种是面向非专业人员的更加直观的数据大屏。以下主要是面向百度的sugar的数据大屏服务的接口开发。在可视化大屏中每个组件都需要一个单独的接口，图中一共涉及8个组件。 组件名称 组件 查询指标 对应的数据表 总成交金额 数字翻牌 订单总金额 product_stats 省市热力图查询 热力图 省市分组订单金额 province_stats 分时流量 折线图 UV分时数PV分时数新用户分时数 ...
https://clickhouse.com/ 概念 ClickHouse是俄罗斯的Yandex于2016年开源的列式存储数据库（DBMS），使用C语言编写，主要用于在线分析处理查询（OLAP），能够使用SQL查询实时生成分析数据报告。OLAP：一次写入，多次读取 ClickHouse凭借着其出色的分析查询性能，尤其是在日志处理上的优势，非常有效的解决了关系型数据库在海量数据场景下的分析查询短板问题 ClickHouse的特点 Id Name Age 1 张三 18 2 李四 22 3 王五 34 ➢采用行式存储时，数据在磁盘上的组织结构为： 1 张三 18 ...
设置MySQL创建数据库，默认为UTF-8 下载地址：https://downloads.mysql.com/archives/installer/ 安装 网站上只有x86没有x64位，之前下了x64的zip包，配置比较麻烦，其实这个x86包里面，已经包含了x64的包我这边选择安装的5.7.30版本选择自定义安装选择5.7.30添加到右则待安装产品列表选择右侧高级选项，对安装目录和数据目录进行配置。我这边选择了D盘选择Execute执行C2013组件的安装安装成功后，下一步可以AddUser添加其它用户，这边选择后期再添加你以为Finish后就结束了吗？还没有。此时安装完成， 配置远程访问 m...
数据库安装 选择全新安装模式继续安装输入产品秘钥：这里使用演示秘钥进行接受许可规则检测可以后期再开放防火墙对外端口选择需要安装的功能，想省事可以选择【全选】可以安装JDK，这边选择取消Polybase查询服务使用默认实例服务器配置–默认即可服务器配置ReportingServices配置–推荐使用使用默认这边被我改成了D盘 D:\ProgramFiles\MicrosoftSQLServer>mkdirDReplayClient\WorkingDir\ D:\ProgramFiles\MicrosoftSQLServer>mkdirDReplayClient\ResultDir\ ...
(MySQL查看数据库表容量大小)[https://www.cnblogs.com/vipsoft/p/12145059.html] 查询某数据库中的所有数据表 SELECTnameastable_name FROMsysobjects WHERExtype='u' ORDERBYname 查询某数据库中的所有数据表及其数据总条数 SELECTa.name数据表, b.rows数据总条数, RTRIM(8b.dpages)+'KB'占用空间大小 FROMsysobjectsASa INNERJOINsysindexesASbONa.id=b.id WHERE(a.type='u')AND(b...