还剩22页未读,继续阅读
本资源只提供10页预览,全部文档请下载后查看!喜欢就下载吧,查找使用更方便
文本内容:
1.1技术架构设计成功地实施一个仓库项目,通常需要很长的时间如果仅仅着眼于短期成果,缺乏整体考虑,采用一种不健全的体系结构,不仅会增加系统开发和维护成本,而且必将对发挥数据仓库的作用造成不利的影响因此一个综合,清晰的远景规划及技术实施蓝图将在整个项目的实施过程中起到重要作用技术架构必须具有高度先进性和可扩展性,以满足业务需求的不断变化一个完整的数据仓库系统包括数据源、数据转换区、数据仓库、数据集市、和数据展现层,通过数据仓库不同层次之间的加工过程,实现财政从数据资产向信息资产的转化过程在不同层次之间的数据加工过程需要通过ETL技术实现,并对整个过程进行有效的元数据管理基于对需求的理解,基于财政部的信息系统框架模型基础之上的财政决策支持系统技术架构如下图所示如上图所示意,通过搭建灵活的、可扩展技术架构,在保持数据集市稳定性的同时,可以不断增加数据源,增加应用数据层、增加应用层,满足不断增加的业务分析应用需求采用DW+ODS的数据仓库体系结构,使用全新的ETL模式对ODS进程每日数据更新,按周或月周期对数据仓库执行ETL过程使用COGNOSBI做为前端的查询分析和数据挖掘工具,可满足各种日常数据处理操作,从即时简单报表查询到多维多级数据分析和挖掘,都能够在统一COGNOSBI平台上完成
1.
1.1数据源和数据接口数据源指存储于财政各个业务系统的业务数据,以及未来的财政监管和外部数据数据仓库系统将整合来自于这些系统的数据,形成财政统一的、一致的基础数据集,并提供给不同的应用主题形成数据集市各个系统在体系架构、开发平台、数据定义、接口标准都会存在不同程度的差异;另外由于业务的不断变化,历史数据与当前数据之间的含义也可能存在不同,因此数据整合必须充分考虑源系统在技术和数据方面存在的差异数据仓库系统将采用文本文件的方式从源系统获取数据每个源系统会就与数据仓库之间就传输数据接口文件(IFF)的格式和方法制定标准,称之为接口规范每个数据源会首先通过各自的数据导出程序(Extractor)生成接口文件存储在各自的文件缓冲区内这个Extractor负责各自范围内导出数据的完备性和一致性,包括1)依照各自的业务规则确定增量数据的导出方法2)保证导出文件的格式符合接口规范的要求3)保证导出文件的传...。