如何实现T+0实时数据统计分析
  jr6gtHij3Uyj 2023年11月19日 18 0

传统数据集市T+1方式

系统架构图如下:

如何实现T+0实时数据统计分析_数据集市


由于业务系统中的数据需要在分组聚合计算后,才能在报表或者管理驾驶舱中使用。所以常规的数据分析平台中,建立数据集市对业务系统的明细数据根据需要进行维度分组的聚合计算并将结果存储在数据集市中。后边会定期对数据集市的数据进行增量更新。对应的会有定时任务的周期,一般周期为晚上运行当天的数据到数据集市,当天只能查看到昨天的数据。

传统T+1模式的优缺点:

优点:

1、 数据的查询和计算在数据集市服务处理,不增加现有业务系统数据库压力

2、 可对数据进行预加工计算,大大提高查询展现速度。

3、 通过ETL将数据进行清洗转换,大大提高数据的标准和质量。

缺点:

1、 需要周期性抽取业务数据库中数据加载到数据集市,有一定的数据延迟。

2、 实时数据如果全部直接在业务系统查询计算,会给业务系统数据库带来很大的运行压力。而且计算时间过长给用户代理很长的等待时间。


硕迪T+0方式

系统架构图如下:

如何实现T+0实时数据统计分析_数据库_02


硕迪T+0方式在传统数据集市T+1基础上增加实时数据查询、计算、合并方式,将当天实时的数据计算后与数据集市T+1的数据合并后再次计算,然后将结果返回给数据消费者,

从而实现大数据量快速响应T+0的统计分析需求。

硕迪T+0模式的优缺点:

优点:

1、 拥有传统T+1模式的所有优点。

2、 支持快速的实时数据查询,通过分别查询数据集市和实时业务系统数据库进行合并后计算,提升查询速度的同时,给业务系统数据库带来的运行压力也很小。

3、 支持sql之外的复杂的计算逻辑。

4、 支持库外计算和多源混算。

5、 支持集算器提供的数据接口,为其他数据消费者服务。

缺点:

1、 需要增加提供集算器的硬件资源,主要是cup和内存。

【版权声明】本文内容来自摩杜云社区用户原创、第三方投稿、转载,内容版权归原作者所有。本网站的目的在于传递更多信息,不拥有版权,亦不承担相应法律责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@moduyun.com

  1. 分享:
最后一次编辑于 2023年11月19日 0

暂无评论

推荐阅读
jr6gtHij3Uyj