在量化交易中，基于金融市场的L1/L2的报价和交易高频数据来进行高频因子计算，是非常常见的投研需求。目前国内全市场十年的L2历史数据约为2050T，每日新增的数据量约为1020G。传统的关系数据库如MSSQLServer或MySQL已经很难支撑该量级的数据，即便分库分表，查询性能也远远无法达到要求。由此，一部分用户选择了分布式文件系统,使用HDF5存储数据，并结合Python进行量化金融计算。 HDF5的存储方案虽然可以支持海量的高频数据，但是也存在一些痛点，例如数据权限管理困难、不同数据关联不便、检索和查询不便、需要通过数据冗余来提高性能等。此外，通过Python来读取计算，也要耗费一些时间...