针对目前各行业用户在落地广泛业务需求分析、处理多重数据模态对接、跟进高度定制场景问题解决、运营多源多框架AI模型等方面的问题，星环科技自主研发的一站式智能分析工具平台Sophon在近日的向星力•未来数据技术峰会上推出了3.2版本。 3.2版本的Sophon通过以数据和模型为中心，提供“六易三仓两中心”的功能服务，让用户能够基于自身需求构建紧密贴合其业务场景的新一代AI应用。 六易——实现新一代AI平民化     Sophon3.2从数据接入获取、模型构建训练、模型运维管理、模型发布迭代等AI应用全生命周期的相关流程出发，考虑用...

  随着数据成为关键生产资料和要素，国内外数据安全相关的法律法规在快速完善，数据安全技术也在快速发展。5月25-26日，由星环科技、上海数据交易所、上海大数据联盟、财联社联合主办的向星力·未来数据技术峰会（FDTC）上，《数据安全与流通——技术、架构与实践》正式发布并同步在各大电商平台上架售卖。星环科技数据安全专家匠心巨制面向数据要素市场从业者的实用指南详解数据要素流动和应用过程的理论、法规、模式、技术和应用 扫码了解↑视频解读 适合人群 数据安全管理人员、技术人员和研究人员； 数据要素市场建设的各方参与者，包括四类市场建设主体（国家级数据交易所、地...

随着企业、机构中非结构化数据应用的日益增多以及AI的爆发式增长所带来的大量生成式数据，所涉及的数据呈现了体量大、格式和存储方式多样、处理速度要求高、潜在价值大等特点。但传统数据平台对这些数据的处理能力较为有限，如使用文件系统、多类不同数据库存储上述数据，在数据存储管理、查询分析效率、数据价值挖掘等方面都存在一定的瓶颈，例如传统数据库查询是点查和范围查的一种精确查询，无法满足大模型下如智能问答、智能推荐等场景。 因此，企业急需一款或数款管理好非结构化数据的数据管理平台。业内常用的做法，是利用人工智能中的表示学习，将这些非结构化数据抽象、转换为高维度的多维向量，由此可以结构化地在向量数据库中进...

随着企业、机构中非结构化数据应用的日益增多以及AI的爆发式增长所带来的大量生成式数据，所涉及的数据呈现了体量大、格式和存储方式多样、处理速度要求高、潜在价值大等特点。但传统数据平台对这些数据的处理能力较为有限，如使用文件系统、多类不同数据库存储上述数据，在数据存储管理、查询分析效率、数据价值挖掘等方面都存在一定的瓶颈，例如传统数据库查询是点查和范围查的一种精确查询，无法满足大模型下如智能问答、智能推荐等场景。 因此，企业急需一款或数款管理好非结构化数据的数据管理平台。业内常用的做法，是利用人工智能中的表示学习，将这些非结构化数据抽象、转换为高维度的多维向量，由此可以结构化地在向量数据库中进行...

随着数据成为关键生产资料和要素，国内外数据安全相关的法律法规在快速完善，数据安全技术也在快速发展。5月25-26日，由星环科技、上海数据交易所、上海大数据联盟、财联社联合主办的向星力·未来数据技术峰会（FDTC）上，《数据安全与流通——技术、架构与实践》正式发布并同步在各大电商平台上架售卖。 星环科技数据安全专家匠心巨制 面向数据要素市场从业者的实用指南 详解数据要素流动和应用过程的理论、法规、模式、技术和应用 适合人群 数据安全管理人员、技术人员和研究人员； 数据要素市场建设的各方参与者，包括四类市场建设主体（国家级数据交易所、地区性交易机构、行业性交易机构以及场外交易机构）、各类数...

针对目前各行业用户在落地广泛业务需求分析、处理多重数据模态对接、跟进高度定制场景问题解决、运营多源多框架AI模型等方面的问题，星环科技自主研发的一站式智能分析工具平台Sophon在近日的向星力•未来数据技术峰会上推出了3.2版本。 3.2版本的Sophon通过以数据和模型为中心，提供“六易三仓两中心”的功能服务，让用户能够基于自身需求构建紧密贴合其业务场景的新一代AI应用。 六易——实现新一代AI平民化 Sophon3.2从数据接入获取、模型构建训练、模型运维管理、模型发布迭代等AI应用全生命周期的相关流程出发，考虑用户可能遇到的问题后，从样本管理、场景开发、模型获得、模型管理、效果迭代及...

传统企业正在面临IT新技术的挑战，“云大物移”已经成了高频出现的热词，传统企业们愈发清晰地感受到IT的重要性与挑战。传统企业有着数十年积累的宝贵资产，包括客户关系、数据、品牌形象、供应链、渠道等等，要在互联网时代的竞争环境中占得一席之地，靠的不是突破最高精尖的技术领域，而是以数字化的形式激活自己多年累积的核心资产，将核心资产转变为可以在互联网上使用的服务，使其焕发新的价值。在这个数字化时代，完成企业数字化转型势在必行。 —数字化业务发展的历史回顾— 数据库技术诞生的10年间，技术的变革都来自业务的应用需求，提供交易的能力，这个时代的数据分析能力非常有限。BillInmon在1992年提出了数...

由于企业的业务系统信息化的分阶段建设、以各自业务为导向等原因，每个业务都积累自身的数据，形成一定的数据孤岛。而数字化转型的一个核心就是以数据为抓手来打通各个不同的业务，以数据驱动辅助经验主导的流程来辅助业务，因此需要企业建成一个统一的、可共享的数据平台，推进建设内部业务的统一数据化，为企业管理和决策提供数据基础与分析能力保障，帮助企业落地数字化战略。建设企业统一的数据平台需要考虑哪些问题？本文进行介绍。 — 企业级统一数据平台整体建设思路— 企业级数据平台指的是支撑企业的数字化业务创新和运营的技术基础平台，提供数据驱动、精准决策的全方位技术支撑。 整体要求 从公司整体的数字化...

建设企业级数据平台，首先需要了解企业数据，确认管理需求，并选择一个数据管理架构。那么面对纷繁复杂的数据来源，多元化的数据结构，以及他们的管理使用需求，企业数据平台建设该从何处入手呢？哪个数据管理架构适合自己的企业呢？本篇将介绍数据仓库、数据集市、数据湖。 — 数据仓库（Data Warehouse）— 数据仓库是BillInmon在1991年出版的“BuildingtheDataWarehouse”一书中所提出的定义被广泛接受：数据仓库（DataWarehouse）是一个面向主题的（SubjectOriented）、集成的（Integrated）、相对稳定的（Non-V...

企业完成建设数据存储和算力基础平台后，再将数据资源归集，下一步就需要将数据资源转化为数据资产。那么什么样的数据资源是数据资产？企业数据管理者需要提升数据质量、消除数据孤岛，并逐步积累数据价值？本篇将从数据平台建设和团队建设两个角度来介绍如何实现数据资产化。 — 数据资产化的挑战 — 企业完成建设数据存储和算力基础平台后，再将数据资源归集，下一步就需要将数据资源转化为数据资产。有业务语义和业务价值的数据资源才是数据资产，因此企业数据管理者需要将数据与业务衔接起来，梳理出哪些数据可以服务哪些业务，同时建立好数据衔接通道并做好数据安全管理。这个阶段的主要目标是提供给业务方可...

随着企业数字化程度的逐步提高，数字化业务对数据管理的需求也持续深化。根据企业本身所处的数字化程度不同，我们将企业的数据平台的建设总结为五个阶段，本篇我们对统一的数据存储与算力做介绍。 —整体介绍 — 企业发展的战略目标就是为了更好地为企业和社会创造价值，而从数据中创造价值也是创造价值的重要一个环节。数据平台的建设需要能够支撑起这个总体目标，同时结合企业自身情况实现一个可持续演进的技术架构。 互联网企业引领着数据时代，以Google、Facebook、Amazon为代表的企业已经完成了从IT巨头到DT巨头的转变。这些公司借助其在大数据、云计算、人工智能的技术发展优势，快速实现业务数...

面对企业级数据量，单机容量太小，无法存储海量的数据，这时候就需要用到多台机器存储，并统一管理分布在集群上的文件，这样就形成了分布式文件系统。HDFS是Hadoop下的分布式文件系统技术，Ceph是能处理海量非结构化数据存储的对象存储技术，本文将对他们的架构原理、特性和优缺点做介绍。 —分布式文件系统HDFS — HDFS全称为HadoopDistributedFileSystem，在2006年由DougCutting发布了第一个版本，是运行在通用硬件上的分布式文件系统。它提供了一个高度容错性和高吞吐量的海量数据存储解决方案。HDFS的推出给当时的行业提供了一个低成本、高可扩展的数...

对于写密集型应用，每天写入量巨大，数据增长量无法预估，且对性能和可靠性要求非常高，普通关系型数据库无法满足其需求。对于全文搜索和数据分析这类对查询性能要求极高的场景也是如此。为了进一步满足上面两类场景的需求，有了宽表存储和搜索引擎技术，本文将对他们的架构、原理、优缺点做介绍。 —宽表存储 — 宽表存储最早来自Google的Bigtable论文，最初的定义为： ABigtableisasparse,distributed,persistentmultidimensionalsortedmap.Themapisindexedbyarowkey,columnkey,andati...

对于写密集型应用，每天写入量巨大，数据增长量无法预估，且对性能和可靠性要求非常高，普通关系型数据库无法满足其需求。对于全文搜索和数据分析这类对查询性能要求极高的场景也是如此。为了进一步满足上面两类场景的需求，有了宽表存储和搜索引擎技术，本文将对他们的架构、原理、优缺点做介绍。 —宽表存储 — 宽表存储最早来自Google的Bigtable论文，最初的定义为： ABigtableisasparse,distributed,persistentmultidimensionalsortedmap.Themapisindexedbyarowkey,columnkey,andati...

当一个计算任务过于复杂不能被一台服务器独立完成的时候，我们就需要分布式计算。分布式计算技术将一个大型任务切分为多个更小的任务，用多台计算机通过网络组装起来后，将每个小任务交给一些服务器来独立完成，最终完成这个复杂的计算任务。本篇我们介绍两个经典的计算框架MapReduce和Spark。 — MapReduce批处理引擎 — MapReduce是第一个比较成功的计算引擎，主要用于数据批处理。由于企业的大数据业务多是围绕结构化数据等价值密度更高的数据展开，所有的大数据公司开始在大数据平台上打造SQL引擎或分布数据库。2012年开始到随后两年中出现20多个基于Hadoop的S...

实时计算的发展历史只有十几年，它与基于数据库的计算模型有本质区别，实时计算是固定的计算任务加上流动的数据，而数据库大多是固定的数据和流动的计算任务，因此实时计算平台对数据抽象、延时性、容错性、数据语义等的要求与数据库明显不同，面向实时计算的数据架构也就发展起来。本篇我们介绍面向交互式分析的计算引擎Impala、实时计算引擎ApacheFlink和星环实时计算引擎Slipstream。 — 面向交互式分析的计算引擎Impala — ApacheImpala是由Cloudera开发的SQLonHadoop计算引擎，架构上仿照GoogleDremel，其最终的目标是作为Hi...

所有的资源管理系统都需要解决资源的有效利用、任务的有效响应、调度策略的灵活配置这三个最基本问题。那么在分布式的场景下，YARN和Kubernetes是怎么解决的呢？本篇进行介绍。 — ApacheYARN — YARN全称为（YetAnotherResourceNegotiator），是一个集群共享的调度框架，有良好的可伸缩性，以及调度器本身有非常高的可靠性。YARN的架构如下图所示，其中ResourceManager控制整个集群，并管理应用程序对基础计算资源的分配。它将各个资源部分（计算、内存、带宽等）安排给基础NodeManager（YARN的每节点代理）。Res...

从2013年成立开始，星环科技就专注于大数据基础技术与企业数据业务的更好结合，同时面对中国更为复杂的数据应用场景，研发了多种更贴合国内大数据应用需求的大数据管理技术，在大数据技术领域有多项基础技术突破。星环科技在坚持技术自研的道路上，创造了多个世界级的技术成果，本篇介绍星环科技大数据技术。 — 星环科技大数据技术概述 — 为了应对新的数据业务化需求，解决原有的技术问题，星环科技重新设计大数据技术栈，建立一个高度统一的数据平台，能够有效的解决大数据的4个V问题，打通大数据价值输出的技术链条，从而加速大数据从持久化、统一化、资产化、业务化到生态化的价值路径，这就是星环科...

随着企业数据量的增多，为了配合企业的业务分析、商业智能等应用场景，从而驱动数据化的商业决策，分析型数据库诞生了。由于数据分析一般涉及的数据量大，计算复杂，分析型数据库一般都是采用大规模并行计算或者分布式计算来提升它的数据处理能力。本篇文章将详细介绍MPP数据库的概念，解决的问题、典型的厂商以及它的技术架构和未来的发展方向。 —MPP数据库简介— 分析型数据库是数据库的一个分支，主要设计目标是存储、管理和分析数据，一般存储的数据类型多，时间维度长，主要配合企业的业务分析、商业智能等应用场景，驱动数据化的商业决策。由于数据分析一般涉及的数据量大，计算复杂，分析型数据库一般都是采用大规模并行计算或...

分析型数据库的另外一个发展方向就是以分布式技术来代替MPP的并行计算，一方面分布式技术比MPP有更好的可扩展性，对底层的异构软硬件支持度更好，可以解决MPP数据库的几个关键架构问题。本文介绍分布式分析型数据库。 —背景介绍— 目前在分布式分析型数据库领域，学术界今年的研究不多，主要是工业界在推动相关的技术发展。分布式分析型数据库的存储层一般采用分布式存储或云存储，而计算引擎层采用独立的分布式计算引擎，而MPP数据库的存储层和计算层都是由多个数据库实例来承担的，这是两者最大的架构区别。 在Hadoop开始兴起的时候，分布式架构的可扩展性和弹性优势就逐渐显现出来，以HDFS为代表的大数据...