适应现代变化的数据架构
传统BI和数据仓库架构已无法应对大数据、分析、自助服务所带来的挑战。然而,现代化数据架构仍未能够全部解决传统数据仓库和BI所面临的问题,很少有组织能够在一些尚未成熟的领域采用大数据分析技术。数据架构在能够支持传统BI的同时,也要意识到需要逐渐的适应现代化项目需求。
现代化数据架构设计方法
毫无疑问,数据架构必须改变。它必须适应大数据、分析和自助服务的时代。传统数据仓库和BI架构已经不能很好地满足许多企业创新发展的需求,每一个变化——大数据、分析和自助服务——都是一个巨大潜力和挑战的组合,把它们组合在一起便形成了一个机会丰富、极其复杂的环境。我们必须使用现代化数据架构,一个优秀的架构能够管理数据复杂性的同时也能够避勉造成混乱。那么,什么是现代化数据架构以及如何设计现代化数据架构?
今天,许多公司仍然保留着传统数据仓库和BI架构的一部分特性,它的特点是线性的、结构化的和具体延迟性的(见图1)。
以下是传统架构的几种特征,这些特征往往会阻障实现大数据、分析和自助服务。
线性化的数据流和工作流
结构化的企业数据
具有一定延迟性的数据批处理
纵向扩展基础设施规模是满足数据增长的主要策略
对IT部门高度依赖的集中式服务
现代数据架构必须适应多方向的数据流、迭代处理、非结构化和外部数据、流处理、低延迟和实时数据、横向扩展数据增长策略和具有自主权的自助服务。这是一个新的信息供应链的开始,我们开始以不同的方式思考数据。传统上,我们把数据作为一种技术资产来存储、处理和管理。今天,我们必须将数据管理成可供所有需要的人访问的资源。不要把数据看成是静态的、存储的,而是要看成活的、动态的、贯穿于每一个业务流程的数据。
动态数据是通过一种新的信息供应链来实现的,它是迭代的、智能的和自适应的。信息供应链的五个阶段是:
采集数据并引入分析生态系统
编制数据资产目录、支持元数据管理
准备改进、丰富、格式化、整合数据
分析、建模和可视化数据
通过分析观察转化为支撑业务结果的行动
新的供应链依赖于数据管理、数据编目和数据准备的技术。有关企业数据驱动的更多技术请参见我的大数据管理软件报告。新的信息供应链应成为现代化分析架构(参见图2)的基础。
现代化分析架构和传统架构相比,存在几个比较明显的变化:
从线性数据流和工作流到多向数据流和迭代工作流
从结构化企业数据到企业及外部结构化和非结构化数据
从批处理和数据延迟到批处理、流和实时处理,满足分析数据的时效性要求
从纵向扩展基础设施规模到横向扩展基础设施的数据增长管理模式
从集中和依赖式服务到自助、自动化服务
也许最重要的是现代化架构,它保留着传统架构功能,且能够与传统架构进行整合。很少有组织能够在未成熟的领域应用现代化分析方法,大部分组织仍保留着传统BI和数据仓库架构。一个务实的架构在能够适应过去(以蓝色显示)的同时,也能够更好的支撑未来(橙色显示)不断变化的现代化需求。
- WordPress用Windows主机设置伪静态方法
- PHP页面跳转代码
- 分布式事务 TCC-Transaction 源码解析 —— 调试环境搭建
- 机器学习入门——使用python进行监督学习
- 推荐算法的介绍,第一部分——协同过滤与奇异值分解
- 在ASP中实现UNIX时间戳
- 【学术】厉害了我的哥,国外技术大咖仿造了谷歌的Arts &Culture,找到古代的“你”
- 【技巧】应赛技巧,教你如何在Kaggle比赛中排在前1%
- 熔断器 Hystrix 源码解析 —— 命令执行(一)之正常执行逻辑
- 智能主题检测与无监督机器学习:识别颜色教程
- 如何下载安装Weka机器学习工作平台
- Dubbo 源码解析 —— LoadBalance
- 如何处理机器学习中类的不平衡问题
- 【死磕Java并发】—– Java内存模型之重排序
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- 基于空间矢量的机器人动力学:铰接体惯量法matlab程序
- leetcode树之相同的树
- 1. 两数之和
- 突击并发编程JUC系列-原子更新字段类AtomicStampedReference
- 去除字符数组中指定的字符
- Android——Android Studio开发环境搭建及设置本地Gradle方法
- Java——类集框架:List集合接口的详解及应用举例
- Android——NORDIC nRF5x系列 DFU升级 APP实现
- Java——集合工具类(Collections工具类、Stack子类)
- Android——RecyclerView自定义OnScrollListener实现下拉刷新监听,上拉加载更多功能
- Java——类集框架:Map集合的详解及应用举例
- Java——类集框架:Set集合接口的详解及应用举例
- 如何有效地进行代码 Review?
- Java——对象序列化
- Android——MPAndroidChart折线图/柱状图/饼形图的使用