当前,各大企业面临着全量、多维、多样、更新迭代迅速的大数据冲击,对数据的采集、存储、应用、分析、管控、扩容均提出了新的挑战。传统数据仓库系统已经无法满足各大企业业务快速发展的需要。
我们应用最新的大数据技术,构架面向大数据的新一代数据仓库平台,以满足新环境下海量数据、超高并发、实时计算、形式多样的数据处理需求。予力创新,帮助各大企业加速数字化转型。
数据和分析已然成为各大企业保持竞争力所不可或缺的部分。他们使用报告、控制面板和分析工具从其数据中获得洞察力、监控企业绩效以及更明智地决策。这些报告、控制面板和分析工具由数据仓库提供支持;数据仓库可以高效地存储数据以便最大限度地减少 I/O,并以极快的速度同时向成千上万的用户提供查询结果。
数据仓库是信息(对其进行分析可做出更明智的决策)的中央存储库。通常,数据定期从事务系统、关系数据库和其他来源流入数据仓库。业务分析师、数据科学家和决策者通过商业智能 (BI) 工具、SQL 客户端和其他分析应用程序访问数据。
数据仓库的架构由四层组成。架构的底层是数据采集层,把数据从各种数据源中采集和存储到数据存储上,期间会做一些简单清洗操作;数据存储与分析层包括用于访问和分析数据的分析引擎;数据共享层存放数据分析后的结果以共享给数据应用层使用;顶层是数据应用层,通过报告、分析和数据挖掘工具呈现结果的前端客户端。
l 数据采集层
数据源种类可以有多种:
l 日志:所占份额最大,存储在备份服务器上
l 业务数据库:如Mysql、Oracle
l 来自HTTP/FTP的数据:合作伙伴提供的接口
l 其他数据源:如Excel等需要手工录入的数据
l … …
l 数据存储与分析层
完成对数据仓库/数据平台的数据进行存储分析的功能。
l 数据共享层
数据共享层是数据分析和计算结果的存放地方,使得各业务和产品能方便的获取数据。
l 数据应用层
报表:报表所使用的数据,一般也是已经统计汇总好的,存放于数据共享层。
接口:接口的数据都是直接查询数据共享层即可得到。
即席查询:即席查询通常是现有的报表和数据共享层的数据并不能满足需求,需要从数据存储层直接查询。一般都是通过直接操作SQL得到。
数据仓库的运作原理如下:将数据整理成描述数据布局和类型(例如整数、数据字段或字符串)的 Schema。提取的数据将存储在 Schema 描述的各种表中。查询工具使用 Schema 来确定要访问和分析哪些数据表。
我们的数据仓库解决方案具有如下特点:
( 1 )全面建成集团化企业多级数据仓库,实现数据及业务系统的集中
( 2 ) 统一规划各信息系统资源,统一数据建模,提高数据的规范化程度。
( 3 ) 实现数据的唯一性与共享性
( 4 )建立统一的安全体系,保证数据及业务系统的访问安全
( 5 ) 结合数据仓库建设,完善数据交换体系,实现多级数据中心间的级联
( 6 ) 实现网络、硬件、存储设备、数据、业务系统和管理流程、 IT 采购流程、数据交换流程的统一集中
( 7 )统一的信息管理模式及统一的技术架构,能够迅速地实施布署各种 IT 系统,提升管理能力
( 8 )面向企业不同用户提供个性化的访问策略。
采用数据仓库的收益包括:
l 更好地进行决策
l 整合多个来源的数据
l 数据质量高、一致且准确
l 智能查询历史数据
l 将分析处理从事务数据库中分离出来,提高了两个系统的性能。
Copyright © 2018 武汉众联恒兴科技有限公司. All Rights Reserved.
鄂ICP备17027558号-2 Designed by Wanhu