在实时计算中，端到端的响应延迟是衡量计算性能时最重要的指标。DolphinDB内置的流数据框架支持流数据的发布与订阅、流式增量计算、实时关联等，用户能够快速实现复杂的实时计算任务，达到毫秒级甚至亚毫秒级的效果，而无需编写大量代码。 本文介绍如何对DolphinDB流计算任务进行全链路的时延统计，以及如何优化脚本以实现更低时延的实时计算： 1.耗时统计 在关键链路上记录处理的时刻，可以反映流计算各个环节的时延。此外，DolphinDB流计算引擎本身还内置了耗时统计功能，可提供更详细的耗时情况，帮助进行分析与进一步性能优化。 1.1使用now函数记录数据处理时刻 在数据发布、接收以及计算结果输出...

PostgreSQL是一种开源的关系型数据库管理系统（DBMS），是最广泛使用的开源数据库之一。它允许用户通过添加自定义函数、数据类型和索引等方式扩展其功能，支持ACID事务，并使用多版本并发控制(MVCC）来管理并发访问，具有优良的安全性和可扩展性。但是，由于存在并发问题和扩容问题等，PostgreSQL的发展仍面临着许多瓶颈。 DolphinDB是一种高效、分布式的数据管理和分析平台，集成了功能强大的编程语言如SQL、Python、Java等和高容量高速度的流数据分析系统，为海量数据（特别是时间序列数据）的快速存储、检索、分析及计算提供一站式解决方案。其操作简单，可扩展性强，具有良好的容错...

1.地震波形数据预测业务场景说明 在地震波形数据异常检测场景中，通常需要使用多种工具和方法来提高检测精度和鲁棒性。其中，FilterPicker是一种常用的基于模板匹配的异常检测工具，可以实现地震波形数据的实时异常检测和定位。FilterPicker需要进行预处理，如噪声过滤、信号增强等，然后根据预设的模板和阈值进行匹配和检测，最后输出异常检测的结果和位置信息。 虽然FilterPicker可以快速、准确地检测地震波形数据中的异常信号，但其精度和稳定性仍然受到多种因素的影响，例如噪声干扰、模板选择等。为了提高异常检测的精度和鲁棒性，可以使用深度学习算法进行进一步的检测和预测。相比传统的基于规则...

1.应用场景 随机振动[注1]会发生在工业物联网的各个场景中，包括产线机组设备的运行、运输设备的移动、试验仪器的运行等等。通过分析采集到的振动信号可以预估设备的疲劳年限、及时知晓设备已发生的异常以及预测未来仪器可能发生的异常等等。本篇教程会提供给有该方面需求的客户一个完整的解决方案，帮助用户使用DolphinDB对振动信号进行分析。 1.1行业背景 随着智能制造的逐渐普及，新型设备相比传统设备更精密，设备成本急剧升高的同时人工维护的成本也在不断提高。故当下自动化监测的方式越来越被业界接受，一来可以降低人力成本，二来可以更加科学系统地对待生产出现的各种状况。 目前业界信号分析的方法有四种，包括...

为保障核反应堆安全有序运行，控制室操纵员需要通过监控平台持续关注大量仪表数据，对系统可能出现的异常做出快速反应。因此，一个自主、实时、可靠的数据监控平台对保障核反应堆安全至关重要，而监控平台离不开“硬核”的国产数据库支持。本文旨在介绍中国核动力研究设计院如何将DolphinDB作为核心组件，搭建控制室人机界面设计组态平台，以满足其实时、可靠的监控需求。 控制室人机界面设计组态平台——"NICE"平台 控制室是操纵员监视和控制反应堆运行的重要场所，良好的人机接口设计是保证控制室发挥作用的前提。为了研制出一款更敏捷、更灵活、更友好的控制室人机界面设计组态平台，中国核动力研究设计院设计所四部研发团...

智能网联汽车在车联网的应用上，通常是以智能传感器、物联网、GIS技术为基础，结合大数据、人工智能技术，通过OT（Operationtecnology）和IT（informationtecnology）融合的方式，实现智能车辆的辅助驾驶、状态监控、远程管理、数据分析及决策等功能。同时，通过对云端大数据的实时分析，还可以对运营车辆实现行程报警、路径规划、电子围栏、订单跟踪等企业级功能。 车联网云端大数据最重要的工作之一，是处理海量的GPS轨迹数据。GPS轨迹数据本质上是带时间标签的时序数据（timeseriesdata），市面上很多时序数据库都能够满足时序数据的简单存储和简单查询需求。 但在完整的...

DolphinDB集高性能时序数据库与全面的分析功能为一体，可用于海量结构化数据的存储、查询、分析、实时计算等，在工业物联网场景中应用广泛。本文以纽约出租车行程时间预测为例，介绍如何使用DolphinDB训练机器学习模型，并进行实时数据的预测，为基于智能网联汽车的车联网企业提供基于机器学习方法的即时预测方案。 1.概要 随着手机移动应用与网约车平台的迅速发展，网约车出行逐渐成为城市生活中一种重要的出行方式。相较其他出行方式而言，选择网约车的乘客对出行时效性有更高的要求，本文将基于乘客上车时间及上下车地点等静态信息，使用DolphinDB机器学习方法训练模型，预测网约车行程时间。 在此基础上，...

1.绪论 波形数据的存储与实时流处理是地震预警、地震速报、地震烈度速报、震源机制解等数字地震台网综合处理系统的前提，合理的存储方案与高效的实时流处理架构能极大地节约存储成本、降低响应延时、方便震源分析。 本篇教程会为有该方面需求的客户提供一个基于DolphinDB的地震波形数据存储及实时流处理的解决方案，助力用户降低存储成本、提升效率。 1.1行业背景 国家地震台网、区域地震台网和流动地震台网等组成的中国数字地震观测网络系统每天不间断地产生地震波行数据。该数据的原始形态是方便数据处理的，但为了进行归档和交换，必须进行统一的数据格式化，现使用的国际通用交换格式为SEED。国家测震台网数据备份中...

1.简介 在数据库领域，分级存储是一种常见的需求，即将一部分较旧的数据转存至本地其他磁盘卷（通常是更低速的磁盘卷）或对象存储方案中。较旧的数据（冷数据）通常不会被用户频繁查询或计算，但是存储在本地会占用大量磁盘资源，因此将不常用的数据存储在对象存储中，或将其从高速磁盘（如ssd）转存至较低速的磁盘（如hdd），可以有效节约资源开销。本文将介绍DolphinDB的分级存储功能的基本原理和如何使用。 2.使用介绍 2.1参数配置 在使用分级存储前，需要先配置相应的参数： 冷数据磁盘卷配置项 ​​coldVolumes​​ coldVolumes=file:/{your_loc...

HAProxy是一款基于C语言开发的开源软件，用于提供高可用性、负载均衡和基于TCP（第四层）和HTTP（第七层）应用的代理服务，是一种免费、快速、可靠的解决方案，因其优异的性能在如今各大主流网页上得到了广泛的应用。 DolphinDB作为一款可用于搭建高可用数据集群的时序数据引擎，其在实际生产环境的应用中对高并发、大流量的处理对实际应用性能具有更高的要求。本次教程为此类生产环境中的实践需求提供了一个解决方案，将HAProxy引入到DolphinDB的高可用集群中，通过使用HAProxy所提供的特定功能来实现DolphinDB数据节点的负载均衡。 1.HAProxy概述 软件简介 HAP...

因子挖掘是量化金融研究和交易的核心工作。传统的开发流程中，通常使用Python从关系型数据库（如SqlServer,Oracle等）读取数据，在Python中进行因子计算。随着证券交易规模不断扩大以及交易数据量的激增，用户对因子计算平台的性能提出了更高的要求。传统的因子计算工程面临以下问题： 因子数据量的增长以及Python作为计算平台导致的性能瓶颈问题 传统的计算平台框架如何无缝替换问题 本教程聚焦于因子批量化计算这一实际业务场景，将DolphinDB作为一个核心的计算工具引入到传统的因子平台。以DolphinDB为核心的因子计算平台包括：数据同步模块、因子批计算模块和因子调度模块。其...

数据迁移再平衡的目标是保证分区副本尽可能均衡分布，副本位置影响着IO性能、节点负载，对于数据访问延迟有着较大的影响。近来，越来越多的客户对于数据容量或计算性能提出了更高要求，因而进行了集群扩展，扩展之后如何在新的拓扑之中平衡数据，这是客户必然面临的问题。为此，我们撰写了本文，总结数据迁移再平衡的常见场景与方法。 本教程适用于1.30.17、2.00.5及以上版本。 1概述 DolphinDB集群支持扩展节点与存储，以便增强计算能力与数据容量，那么新增的节点与磁盘是没有存储任何数据的，所有数据依旧存储在旧的节点与磁盘。也就是说，不同节点或不同磁盘上的数据分布可能会存在较为严重的倾斜，这样可能会带...

随着政策的推进、技术的迭代以及市场需求的逐步扩大，采用安全可控的金融科技产品渐渐成为热潮，国内众多金融政企机构纷纷开始改造升级原有IT系统，对老旧系统的国产化替换需求日益强烈。 但“替换”不应该是简单的更换产品，而是根据业务发展需要，选择一套更优秀的解决方案，为企业实现“降本增效”。 这里，我们为大家介绍一个外资银行金融市场数据集市国产替换的成功案例。 在这个案例中，该外资银行使用DolphinDB从底层完美替换了Oracle，不仅成功解决了兼容性、海量数据迁移问题，更实现了对原有金融市场数据集市所面向业务的全面升级： IRSVaR业务的每日平均处理时长由40分钟降至3.5秒，提升近千倍； ...

物联网的发展为智能安防和自动化监控带来了更多便利，与此同时，新型城镇建设、智慧城市与智慧社区的发展也为门禁管理等安防问题智能化提出了更高的要求。在智能化发展的背景下，门禁不仅仅是门禁，更是一套集成了访客、考勤、消费、巡更、梯控等更多功能的全面便捷的系统安全应用。目前门禁系统主要用于出入口管理，在我国加速推动智慧城市、智慧工地、智慧社区等智慧化建设发展的前提下，门禁系统智能化升级的趋势成为必然，其普及率和使用率也将更加广泛，随着接入门禁系统设备越来越多，对其产生的海量数据进行实时快速的处理也成为了日益重要的问题。 DolphinDB提供了流数据表和流计算引擎用于实时数据处理，为智能安防提供了有力...

本文为DolphinDBCAPI（连接器）写入接口的使用指南，用户在有数据写入需求时，可以根据本篇教程快速明确地选择写入方式。本文将从使用场景介绍、原理简述、函数使用、场景实践四部分进行具体阐述。 一、场景介绍 目前大数据技术已广泛应用到金融、物联网等行业，而海量数据的写入是大数据处理和分析的基础。在实际应用中，数据的产生方式和采集途径多种多样，DolphinDB作为轻量级的大数据平台，提供多种数据写入方式，用户可以在不同应用场景下选择最合适的方式进行数据写入。 以工业物联网场景为例，设备数据的写入场景通常可分为两类。 （1）多设备数据分散写入。 如某厂区有100台设备，每台设备通过独立的传...

DolphinDB曾发布过 DolphinDB：WorldQuant101Alpha因子的流批一体实现 和 DolphinDB：国泰君安191Alpha因子的流批一体实现 这两篇文章，介绍了如何基于DolphinDB的StreamEngineParser实现金融因子的流批一体解决方案。 StreamEngineParser 的主要功能是自动构建计算流水线，以及在流批一体计算场景中，将批计算因子翻译成流计算解决方案。本文将为大家详细介绍StreamEngineParser的计算规则和解析原理。 1.StreamEngineParser功能介绍 ...

异步复制是进行集群间数据同步的一种方式。在金融交易、物联网、互联网/移动互联网等应用场景中，复杂的业务对数据一致性和可靠性提出了极高的要求。与同步复制相比，异步复制网络延迟更低、吞吐量更高、故障风险更小。 DolphinDB提供的异步复制功能通过异步方式，将主集群复制到从集群，使主从集群数据一致，是集群异地容灾的一个解决方案。 传统集群间的异步复制可能导致数据不一致、丢失或冲突。与传统集群间的异步复制解决方案相比，DolphinDB具有以下优势： 容错性强。节点宕机不会造成数据丢失，主从集群数据最终会保持一致。 运维便捷。提供在线监控函数以及错误修复函数。 1.概述 1.1原理 使用异步...

1.ODBC插件使用场景 在使用DolphinDB的业务场景中，我们有从其他数据源和DolphinDB之间同步数据的需求。比如从Oracle读数据写入到DolphinDB，或者从DolphinDB写数据到Oracle数据库。按照频率的不同，数据同步可以分为实时和离线同步两种。本文介绍如何使用ODBC插件解决离线同步的需求。 用户可以使用DolphinDBODBC插件连接其它数据库服务，将其他数据库中的数据导入到DolphinDB数据库，或将DolphinDB内存表导出到其它数据库，也可以从DolphinDB分布式表中取出数据获得内存表，然后将该内存表导出到其他数据库中。在DolphinDB中使...

DolphinDB作为一款高性能时序数据库，其在实际生产环境中常有数据的清洗、装换以及加载等需求，而对于该如何结构化管理好ETL作业，Airflow提供了一种很好的思路。本篇教程为生产环境中ETL实践需求提供了一个解决方案，将PythonAirflow引入到DolphinDB的高可用集群中，通过使用Airflow所提供的功能来实现更好管理DolphinDB数据ETL作业，整体架构如下: 1.Airflow 1.1Airflow简介 Airflow是一个可编程，调度和监控的工作流平台，基于有向无环图(Directedacyclicgraph,DAG)，Airflow可以定义一组有依赖的任务，按...

在4月8日举行的上海交大127周年校庆活动中，智臾科技创始人、安泰95级本科和99级硕士校友周小华博士代表公司向安泰经管学院捐赠为期三年、价值240万元的DolphinDB数据库软件，支持学院文科实验室建设和金融学科发展。 陈方若院长和周小华博士分别代表学院和公司完成了捐赠签约。见证签约仪式的还有上海交大党委常务副书记顾锋，安泰经管学院党委书记姜文宁，学院副院长田新民，学院党委副书记张东红，金融系教授、周小华博士在安泰时的硕士导师吴冲锋，智臾科技金融销售总监、95级安泰本科校友袁飞，智臾科技项目实施总监、机械与动力工程学院2017级硕士校友唐新海。 高性能分布式时序数据库DolphinDB自...