数据仓库是做什么的

2024-05-09 10:28

1. 数据仓库是做什么的


数据仓库是做什么的

2. 数据仓库中的面向主题该怎么理解

数据仓库,英文名称为Data Warehouse,可简写为DW或DWH。数据仓库是为企业所有级别的决策制定过程提供支持的所有类型数据的战略集合。它是单个数据存储,出于分析性报告和决策支持的目的而创建。 为企业提供需要业务智能来指导业务流程改进和监视时间、成本、质量和控制。

3. 数据仓库主题域如何建立啊,还有如果用excel来写需求,如何反映啊,就是excel中含有哪些需要填写说明的东

不知道楼主是不是想自己制作这样的表格。一般来说,进销存工具包含以下几个基本功能,采购入库、销售出库、库存(根据入出库自动计算),成本(移动平均法核算)、利润(销售金额减去成本价)、统计(日报月报)、查询(入出库)履历。其他扩展内容诸如品名、规格、重量、体积、单位等也要有。主要的难点是在自动统计库存上。根据行业不同,可能具体条目会有点变化。一般的做法是用到数据透视表,但如果数据量大会严重影响速度。采用VBA是比较好的,速度不收影响。如果你自己做,没有相当的编程知识,估计你做不出来,我建议你去找北京富通维尔科技有限公司的网站,里面有用VBA开发的Excel工具,很多个版本,当然也有免费的下载。

数据仓库主题域如何建立啊,还有如果用excel来写需求,如何反映啊,就是excel中含有哪些需要填写说明的东

4. 银行的数据仓库,ODS,历史库的区别和联系

银行的数据仓库,ODS,历史库的区别和联系
关系数据库:是建立在关系模型基础上的数据库。借助于集合代数等概念和方法来处理数据库中的数据。 数据仓库:是在企业管理和决策中面向主题的、集成的、与时间相关的、不可修改的数据集合。 区别:数据库是面向事务的设计,数据仓库是面向主题.

5. 汇丰银行、花旗银行、工商银行、中国银行、建设银行、招商银行等各大银行所用的数据库系统?

该系统是针对"国家开发银行基础数据库系统招标书"的具体要求,结合我公司在数据库和数据仓库方面的开发经验、系统集成能力与技术优势,组织该方面专家进行多次讨论,并充分考虑国家开发银行实际情况和我们在金融行业数据仓库的建设经验,最终构建国家开发银行基础数据库系统。在该系统中,我们采用最先进和完善的IBM数据仓库系列产品,结合具有丰富表现力的COGNOS公司前端展现工具,集成三层体系结构(Multi-tier)技术,融合WEB方式,最终为开发银行开发建设一个技术上先进、业务应用成熟、功能完善、性能稳定的基础数据库系统,并在此基础上考虑到系统的未来扩展。

系统简介
  国家开发银行基础数据库系统的总体架构包括数据管理层、应用控制层和用户界面层三个部分。数据管理层负责管理国家开发银行各个层次的数据;应用控制层负责处理基于基础数据库系统的应用系统业务控制逻辑;用户界面层处理用户人机交互接口,将用户接口与复杂的业务控制逻辑分开,负责将业务信息以一种用户友好的一致方式提供给用户。

1、数据管理层
    国家开发银行基础数据库系统中,需要管理不同层次的数据:
    实时易变的数据:
    由国家开发银行日常业务的操作型应用系统创建和管理。
    高质量的一致性数据:
    通过对存放在国家开发银行不同业务应用系统中的数据进行基本的代码转换和不一致问题的处理,得到国家开发银行统一业务视图的综合数据。
    派生数据:
    是在一致性数据基础上不同程度的聚集产生的数据。
    元数据:
  元数据是关于以上几类数据的描述性数据,是国家开发银行企业级的信息目录。元数据描述和定位数据元素的来龙去脉:数据来自何处,如何转换,抽取频率怎样,去哪儿,数据仓库正是通过对元数据的有效管理,为数据工作者寻找、理解和利用上述几类数据提供方便。
    数据管理层采用DB-ODS-DW三层体系结构来管理以上各类数据。其中DB指实时易变的数据和外部数据,ODS(Operational Data Store,操作数据储存)包括高质量的一致性数据和派生数据,DW(Data Warehouse,数据仓库)包含历史的高质量一致性数据和派生数据。
    ODS作为一个中间层次,一方面,它包含企业全局一致的、细节的数据,可以进行全局操作型处理;另一方面,它又是一种面向主题的、集成的数据环境,适合完成日常报表和决策的数据处理分析。可见,ODS一方面支持业务性操作,另一方面面向主题。所谓主题是指国家开发银行业务发展中所关注的业务对象,比如项目开发、信贷管理和资金管理,是在较高层次上将数据归类,将来自各部门的原始数据做一个从面向应用到面向主题的转变,即整个系统的设计将按照业务对象进行,而不是按照行政框架设计。在主题之下放置与该主题相关的各种基础数据,组合在一起就是基础数据源。基础数据源是整个ODS的核心,存储着最为基础的非派生数据。从上面分析可看出,建设数据仓库的第一步是建设基础数据源。这就要求对国家开发银行相关部门的业务流程和需求进行分析,通过对来自会计信息系统的数据和外部录入数据进行清洗、抽取和转换来解决数据的不一致性、分散性、完整性及异构问题。
  面向主题和集成性使得ODS的数据在静态特征上很接近DW中的数据。但是,在ODS与DW之间仍然有许多基本的、重要的差别。首先,ODS主要保存近期数据,而DW大量是长期保存并可重复查询的历史数据。其二,ODS支持面向记录的联机刷新,满足国家开发银行全局应用的需要,包括企业级的OLTP;而DW中的基础数据是不可修改的。其三是向ODS数据仓库DW提供一致的数据环境以供抽取。DW则主要用于长期趋势分析或战略决策。

    1)数据源
    国家开发银行业务系统数据
    国家开发银行的业务处理系统包括已经投入运行的(会计核算系统)、正在建设的(信贷管理和非现场稽核)和准备建设的各个业务处理系统。这些系统的数据周期性地形成增量文件,由数据库抽取代理程序(Agent)抽取到总行操作数据库中(ODS)。
    外部数据
    外部数据,根据业务需求可以加载到总行操作数据库中(ODS),也可以直接加载到数据仓库中。
    补充数据
    补充数据,由手工输入或接收程序倒入。
    2)基础数据收集
    为了提高基础数据收集的效率和质量,需要综合考虑业务需求、数据量、数据加载周期和技术基础设施多种因素,制定切实可行的数据抽取、净化、转换和加载策略,并选择合适的工具辅助基础数据收集。
    对于国家开发银行现有业务应用系统管理的数据,应尽力区分存量数据、增量数据和变更的数据(比如,可以通过增加触发器来得到变更的数据),因为在广域网环境下,存量数据的抽取、传输和加载,增加网络的压力,是不可取的。而且不管选择哪种数据库,数据库管理系统的大量数据加载速度有限,大量数据加载一般会影响其他用户对数据库的操作。
    在网络带宽许可的情况下,总行的ODS收集存储各分行详细的业务数据,各分行的详细业务数据通过数据收集代理(Agent)自动抽取到总行。数据抽取、传输和加载的策略是,第一次数据初始化的时候,进行存量数据的批量加载,以后则进行增量数据和变更数据的加载。加载周期是按小时、天、月或季度和年来加载,取决于业务需求。
    随着业务的发展,详细业务数据量的增大,超出网络带宽的负荷,建议各分行设置ODS收集存储各自详细的业务数据,总行ODS收集存储各分行经过聚集的业务数据,以减少抽取、传输和加载的数据量。
    可视化数据仓库管理器(IBM Visual Warehouse)是IBM公司推出的一个创建和维护数据仓库的集成工具,可以定义、创建、管理、监控和维护数据仓库,也可以自动地把异质数据源抽取到中央集成的数据仓库管理环境中来,它采用分布式的客户/服务器(Client/Server)体系结构,包括如下几个部分:
  数据仓库服务器(Visual Warehouse Server)
  数据仓库管理员(Visual Warehouse Administrative Clients)
  数据仓库代理(Visual Warehouse Agents)
  控制数据库(Control Database)
    数据仓库(目标数据库,Target Database)
    数据仓库服务器运行于Windows NT操作系统之上,监控和管理数据仓库的处理过程,提供基于时间的和基于事件的调度机制,并且也控制数据仓库代理的活动。
    数据仓库代理在数据仓库服务器的控制下,处理源数据的存取、过滤、传输和把数据加载到目标数据仓库中。数据仓库代理可以运行在NT、AIX、OS/400、OS/2、SUN不同的系统平台上。为了提高处理效率和可扩展性,一般在数据源和目标数据仓库所在的机器都安装数据仓库代理。
    控制数据库由数据仓库管理员产生并被数据仓库代理所利用。可视化数据仓库管理器把所有的元数据都存储在控制数据库中,控制数据库还可以被一个元数据管理工具集成管理(该工具称为Dataguide,是可视化数据仓库管理器的组件之一)。
    虽然数据抽取、传输和加载自动化的机制可以选择合适的工具来实现,但针对实际数据环境的数据抽取、转换和净化需要自行设计程序,因为实际数据的非标准化和数据转换的复杂性,数据抽取、转换和净化的商品化工具在实际应用中达不到预期效果。

2、总行ODS
  总行ODS由两层数据组成,一层为基础数据源,是国家开发银行业务产生的最基础的非派生的数据;另一层为二次汇总数据。二次汇总数据放置于项目受理、贷款管理和资金管理三个模块中,直接为项目受理、贷款管理和资金管理三个业务子系统提供数据支持。基础数据源中的数据主要从会计信息系统中转换而来,同时又有一部分基础数据来自于外部数据录入。

汇丰银行、花旗银行、工商银行、中国银行、建设银行、招商银行等各大银行所用的数据库系统?

6. 请教:银行的数据仓库,ODS,历史库的区别和联系

关系数据库:是建立在关系模型基础上的数据库。借助于集合代数等概念和方法来处理数据库中的数据。 数据仓库:是在企业管理和决策中面向主题的、集成的、与时间相关的、不可修改的数据集合。 区别:数据库是面向事务的设计,数据仓库是面向主题.

7. 请教数据仓库创建方法、模型和步骤与传统操作型环境相比的区别

它的区别可以理解成它的特点:
数据仓库的特点有:
[编辑本段]特点
  1、数据仓库是面向主题的;   2、数据仓库是集成的,数据仓库的数据有来自于分散的操作型数据,将所需数据从原来的数据中抽取出来,进行加工与集成,统一与综合之后才能进入数据仓库;   3、数据仓库是不可更新的,数据仓库主要是为决策分析提供数据,所涉及的操作主要是数据的查询;   4、数据仓库是随时间而变化的,传统的关系数据库系统比较适合处理格式化的数据,能够较好的满足商业商务处理的需求,他在商业领域取得了巨大的成功。 
面向主题
  操作型数据库的数据组织面向事务处理任务,各个业务系统之间各自分离,而数据仓库中的数据是按照一定的主题域进行组织的。 
集成的
  数据仓库中的数据是在对原有分散的数据库数据抽取、清理的基础上经过系统加工、汇总和整理得到的,必须消除源数据中的不一致性,以保证数据仓库内的信息是关于整个企业的一致的全局信息。 
相对稳定的
  数据仓库的数据主要供企业决策分析之用,所涉及的数据操作主要是数据查询,一旦某个数据进入数据仓库以后,一般情况下将被长期保留,也就是数据仓库中一般有大量的查询操作,但修改和删除操作很少,通常只需要定期的加载、刷新。 
反映历史变化
  数据仓库中的数据通常包含历史信息,系统记录了企业从过去某一时点(如开始应用数据仓库的时点)到目前的各个阶段的信息,通过这些信息,可以对企业的发展历程和未来趋势做出定量分析和预测

请教数据仓库创建方法、模型和步骤与传统操作型环境相比的区别

8. 数据的数据仓库

 根据数据仓库概念的含义,数据仓库拥有以下四个特点:1、面向主题。操作型数据库的数据组织面向事务处理任务,各个业务系统之间各自分离,而数据仓库中的数据是按照一定的主题域进行组织。主题是一个抽象的概念,是指用户使用数据仓库进行决策时所关心的重点方面,一个主题通常与多个操作型信息系统相关。2、集成的。面向事务处理的操作型数据库通常与某些特定的应用相关,数据库之间相互独立,并且往往是异构的。而数据仓库中的数据是在对原有分散的数据库数据抽取、清理的基础上经过系统加工、汇总和整理得到的,必须消除源数据中的不一致性,以保证数据仓库内的信息是关于整个企业的一致的全局信息。3、相对稳定的。操作型数据库中的数据通常实时更新,数据根据需要及时发生变化。数据仓库的数据主要供企业决策分析之用,所涉及的数据操作主要是数据查询,一旦某个数据进入数据仓库以后,一般情况下将被长期保留,也就是数据仓库中一般有大量的查询操作,但修改和删除操作很少,通常只需要定期的加载、刷新。4、反映历史变化。操作型数据库主要关心当前某一个时间段内的数据,而数据仓库中的数据通常包含历史信息,系统记录了企业从过去某一时点(如开始应用数据仓库的时点)到目前的各个阶段的信息,通过这些信息,可以对企业的发展历程和未来趋势做出定量分析和预测。 企业数据仓库的建设,是以现有企业业务系统和大量业务数据的积累为基础。数据仓库不是静态的概念,只有把信息及时交给需要这些信息的使用者,供他们做出改善其业务经营的决策,信息才能发挥作用,信息才有意义。而把信息加以整理归纳和重组,并及时提供给相应的管理决策人员,是数据仓库的根本任务。因此,从产业界的角度看,数据仓库建设是一个工程,是一个过程。