​​ 点击报名后领取>>>软考16本电子版教材 & 36本辅导教材 + 27套历年真题试卷 + 21套精编知识点6G资料包​​

1.3.8 数据仓库技术

在了解数据仓库的概念之前，我们需要先来理解一些相关基础概念。(1)ETL( Extract/Transformation/Load，清洗/转换/加载):用户从数据源抽取出所需的数据，经过数据清洗、转换，最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。

(2)元数据:关于数据的数据，指在数据仓库建设过程中所产生的有关数据源定义，目标定义，转换规则等相关的关键数据。同时元数据还包含关于数据含义的商业信息典型的元数据包括:数据仓库表的结构、数据仓库表的属性、数据仓库的源数据(记录系统)、从记录系统到数据仓库的映射、数据模型的规格说明、抽取日志和访问数据的公用例行程序等。

(3)粒度:数据仓库的数据单位中保存数据的细化或综合程度的级别。细化程度越高，粒度级就越小;相反，细化程度越低，粒度级就越大。

(4)分割:结构构相同的数据被分成多个数据物理单元。任何给定的数据单元属于且仅属于一个分割。

(5)数据集市:小型的，面向部门或工作组级数据仓库。

(6)ODS(Operation Data Store，操作数据存储):能支持企业日常的全局应用的数据集合，是不同于DB的一种新的数据环境，是DW扩展后得到的一个混合形式。四个基本特点:面向主题的、集成的、可变的、当前或接近当前的。

(7)数据模型:逻辑数据结构，包括由数据库管理系统为有效进行数据库处理提供的操作和约束:用于表示数据的系统。

(8)人工关系:在决策支持系统环境中用于表示参照完整性的一种设计技术。

传统的数据库技术在联机事务处理中获得了成功，但是无法满足随着市场竞争的加剧而带来的管理人员对决策分析数据提供的要求。传统的数据库系统中缺乏决策分析所需的大量历史数据信息，因为传统的数据库一般只保留当前或近期的数据信息。为了满足中高层管理人员预测、决策分析的需要，在传统数据库的基础上产生了能够满足预决策分析需要的数据环境一一数据仓库。

数据仓库是一个面向主题的、集成的、非易失的、且随时间变化的数据集合，用于支持管理决策

大众观点的数据仓库的体系结构如图1-8所示。

(1)数据源:是数据仓库系统的基础，是整个系统的数据源泉。通常包括企业内部信息和外部信息。内部信息包括存放于关系型数据库管理系统中的各种业务处理数据和各类文档数据。外部信息包括各类法律法规、市场场信息和竞争对手的信息等。

(2)数据的存储与管理:是整个数据仓库系统的核心。数据仓库的真正关键是数据的存储和管理。数据仓库的组织管理方式决定了它有别于传统数据库，同时也决定了其对外部数据的表现形式。要决定采用什么产品和技术来建立数据仓库的核心，则需要从数据仓库的技术特点着手分析，针X对现有各业务系统的数据，进行抽取、清理，并有效集成，按照主题进行组织，数据仓库按照数据的覆盖范围可以分为企业级数据仓库和部门级数据仓库库(通常称为数据集市)。

(3)OLAP服务器:对分析需要的数据进行有效集成，按多维模型予以组织，以便进行多角度、多层次的分析，并发现趋势。其具体实现可以分为: ROLAP、MOLAP和HOLAP。ROLAP基本数据和聚合数据均存放在RDBMS之中:MOLAP基本数据和聚合数据均存放于多维数据库中;HOLAP基本数据存放于RDBMS之中，聚合数据存放于多维数据库中。

(4)前端工具:主要包括各种查询工具、报表工具、分析工具、数据挖掘工具以及各种基于数据仓库或数据集市的应用开发工具。其中数据分析工具主要针对OLAP服务器，报表工具、数据挖掘工具主要针对数据仓库。

1.3.9 中间件技术

目前还没有对中间件形成一个统一的定义，下面是两种现在普遍比较认可的定义：

(1)在一个分布式系统环境中处于操作系统和应用程序之间的软件。

(2)中间件是一种独立的系统软件或服务程序，分布式应用软件借助这种软件在不同的技术之间共享资源，中间件位于客户机服务器的操作系统之上，管理计算资源和网络通信。

中间件作为一大类系统软件，与操作系统、数据库管理系统并称“三套车”，其重要性是不言而喻的，中间件的优点应该说都是有目共睹的。它的优越性体现在以下几个方面:缩短应用的开发周明、节约应用的开发成本、减少系统初期的建设成本、降低应用开发的失败率、保护己有的投资、简化应用集成、减少维护费用、提高应用的开发质量、保证技术进步的连续性、增强应用的生命力。

中间件的任务是使应用程序开发变得更容易，通过提供统一的程序抽象，隐藏异构系统和分布式系统下低级别编程的复杂度。中间件分类有很多方式和很多种类型。在这里我们由底向上从中间件的层次上来划分，可分为底层型中间件、通用型中间件和集成型中间件三个大的层次

(1)底层型中间件的主流技术有JVM( Java Virtual Machine，Java虚拟机)、CLR（Common Language Runtime，公共语言运行库)、ACE( Adaptive CommunicationEnviomment，自适配通信环境)、JDBC( Java Database Connectivity，Java数据库连接)和ODBC( Open DatabaseConnectivity，开放数据库互连)等，代表产品主要有 SUN JVM和Microsoft CLR等。

(2)通用型中间件的主流技术有 CORBA( Common ObjectRequest Broker Architecture，公共对象请求代理体系结构)、J2EE、MOM( Message-Oriented Middleware，面向消息的中间件)和COM等，代表产品主要有 IONA Orbix、BEA WebLogic和IBM MQSerics等。

(3)集成型中间件的主流技术有 Workflow和EAI(Enterprise Application Integration企业应用集成)等，代表产品主要有 BEA Weblogic和IBM WebSphere等。

在这个大的层次划分下，中间件还可以细化为通信处理(消息)中间件、事务处理(交易)中间件、数据存储管理中间件、Web服务中间件、安全中间件、跨平台和构架的中间件、专用平台中间件、数据流中间件、门户中间件、工作流中间件等中间件技术在集成中扮演着重要的角色，我们可以从不同层次采用不同种类，不同技术的中间件产品进行应用集成。如图1-9所示，我们可以从传输、消息、组件、业务流程等各个层面分别加以集成为了完成不同层次的集成，可以采用不同的技术、产品：

(1)为了完成系统底层传输层的集成，可以采用 CORBA技术。

(2)为了完成不同系统的信息传递，可以采用消息中间件产品。

(3)为了完成不同硬件和操作系统的集成，可以采用J2EE中间件产品

同样，目前中间件的竞争焦点也主要集中在集成应用平台上，大多中间件公司都己经或准备将下一步的工作重点放在集成市场上。

1.3.10 高可用性和高可靠性的规划与设计

可用性(availability)是系统能够正常运行的时间比例。经常用两次故障之间的时间长度或在出现故障时系统能够恢复正常的速度来表示。

可靠性(reliability)是软件系统在应用或系统错误面前，在意外或错误使用的情况下维持软件系统的功能特性的基本能力。

由于可靠性指标直接影响可用性指标，所以一般我们将这两个指标一并分析与讨论。

高可用性( High availability)通常用来描述一个系统经过专门的设计，从而减少停工时间，而保持其服务的高度可用性。

计算机系统的可用性用平均无故障时间(MTTF)来度量，即计算机系统平均能够正常运行多长时间，才发生一次故障。系统的可用性越高，平均无故障时间越长。可维护性用平均维修时间(MTTR)来度量，即系统发生故障后维修和重新恢复正常运行平均花费的时间。系统的可维护性越好，平均维修时间越短。计算机系统的可用性定义为MTTF/(MTIF+MTTR)*100%。由此可见，计算机系统的可用性定义为系统保持正常行时间的百分比。所以，想要提高一个系统的可用性，要么提升系统的单次正常工作的时长，要么减少故障修复时间。常见的可用性技术如下:

错误检测:用于错误检测的技术包括命令响应、心跳和异常。

错误恢复:用于错误恢复的技术包括表决、主动冗余、被动冗余。

错误预防:用于错误预防的技术包括把可能出错的组件从服务中删除、引入进程监视器。

​

文章源于网络，如有侵权，请私信文章标题联系删除，谢谢。

为了能让更多人享受软考的政策福利和现实功利，51CTO旗下软考教研团队联合薛大龙老师，认真严肃向大家推出软考2日直播特训营。

扫码入群0元领取6G的软考6资料包+2天软考特训营名额

软考资料包括：软考16本电子版教材 & 36本辅导教材 + 27套历年真题试卷 + 21套精编知识点6G资料包​

软考训练营名额+资料领取方式>>>

扫下方码入群后按照老师的要求操作即可领取。

51CTO软考两天直播训练营

这门课恰好能够为你答疑解惑，助你快速入门并掌握软考知识要点，获得技能提升。为自己的职业发展规划制定一个更明确的规划，迈出升职加薪的第一步。

训练营周期为 两天直播课 晚8：00-9：00

心急的小伙伴可直接扫码解锁。

☟☟☟

2天软考直播特训营

3大必备技能

↓↓↓

限时 0 元 即可解锁

点击下方链接报名

仅限前100个名额

报名链接: ​ ​​https://edu.51cto.com/surl=oR9sp3​​​

课程涵盖：高分知识点梳理，案例分析解题方法、论文通用模板等。我们力争通过2天的直播课程，助力您快速入门并一次性通关软考！

如果你对这门课程还不太了解的话，就跟我一起往下看吧。

我们的主讲老师薛大龙老师，深耕软考教育培训20余年，主编出版软考辅导教材60余本，非常熟悉软考题目的要求、难度、以及判卷标准。

完成本体验营2天所有课程及作业考核，学员将掌握信息系统项目管理师、系统集成项目管理工程师的高频考点及答题技巧：

①掌握信息系统项目管理师知识体系；

②掌握考试高分占比知识领域；

③掌握考试考情前沿分析；

④掌握论文与案例超干货答题方法；

⑤掌握名师对真题的独到解析。

报名前，你还需要知道的3件事

1）课程形式

直播课程+社群学习活动

2）课程时间

报名后老师安排上课 晚8:00-9:00

3）报名后要做什么？

付费后根据提示添加学姐为好友，开营前学姐会统一拉人入群。

2天软考考证特训营

0 元 解锁课程

还可 领取「6G课程资料」

点击下方链接报名 仅限前100个名额

报名链接: ​​https://edu.51cto.com/surl=oR9sp3​​​