今天读了《数据仓库》第一章,做个总结。
读了本章有以下感悟:
1、理解了什么事数据仓库
2、结合浙江移动网优项目将目前项目中遇到的问题及自己发现的一些遗留问题与书籍中描述的方法论进行印证,发现部分问题是设计时没有以数据仓库方式设计导致的。
3、了解了数据仓库开发流程,也解释了为什么当初会发生2感悟中遇到的问题。
4、了解了数据仓库中对于重要性要素与OLTP中重要性要素是不同的。比如相应时间。
5、DSS环境(DSS决策支持系统)的响应事件与在线事物处理(OLTP)环境中的响应事件有很大不同。在DSS中相应时间不是决定性的,响应地,在DSS数据仓库环境中相应事件以分钟和小时计,在某些情况下以天记。(和浙江网优项目要求相去甚远,目前还没想好如何将此方法论应用到项目的修改中。)
6、原始数据和导出数据有很大差异,它们不能存在于同一数据库中,甚至不能共存于同一个环境下。作者对此给出一个硬件的解释(书1.4节):在数据仓库环境中,存在一个根本不同 的硬件利用模型,即利用的二元模型。要命利用全部硬件,要么根本不用硬件。所以可以针对操作型处理优化机器,或者针对数据仓库处理优化机器。但是不能在同一台设备上同时实现两者。(操作型是永远100%使用硬件环境)
下面是第一章最后的小结:
本章讨论了数据仓库的起源及其所适合的更大的体系结构化环境。这个体系结构化环境伴随着信息处理的哥哥不同阶段的历史一直演化发展。体系结构化环境中的数据和
处理有四个层次---操作层、数据仓库层、部门/数据集市层和个体层。
数据仓库是根据源自操作型环境中的应用数据建立起来的。吧这些应用数据转到数据仓库中是要进行集成(个人理解用“数据汇总”比较合适)。数据集成的任务是非常
复杂和乏味的。数据从数据仓库流入部门/数据集市环境。部门/数据集市环境中的数据是根据部门的独特处理需求形成的。
数据仓库是在一种与传统应用系统使用的开发方式完全不同观点另一种方式指导下开发的。传统应用时按照SDLC(可理解为瀑布模型的开发方式)开发生命周期开发的,
而数据仓库则是在一种螺旋式开发方法学的知道下开发的。螺旋式开发方法要求先开发数据仓库的几个小部门,然后对数据仓库的其他小部门以反复的方式进行开发。
数据仓库环境的用户以一种完全不同的方式使用系统,数据仓库用户不像操作型环境用户那样能够直接定义需求,而是工作在一种发现的模式下。数据仓库的用户说:“
给我看下我说我想要的东西,然后,我才能告诉你我真正想要什么。”
分享到:
相关推荐
数据仓库读书笔记,我从别的地方收集的,觉得比较好,所以上传上来.
本书论述在设计和建造数据仓库中涉及的所有主要问题,... 本书主要是面向数据仓库的设计、开发和管理人员,以及构造和使用现代信息系统的人员,也适于信息处理方面的高校师生和从事传统数据库系统技术工作的人阅读。
数据仓库读书笔记.pdf
oracle 数据仓库设计指南 从网上搜集的,比较实用, 讲的也挺好,希望对大家有用
《数据仓库与数据挖掘技术原理及应用》读书笔记模板x.pptx
感谢刘的整理:)这本书是数据库题库考试的参考书。
《数据仓库原理》系列博文,是笔者在学习数据仓库与商业智能时的读书笔记,现重新梳理思路,分享在这里,希望读者批评指正。 本系列主要包括以下几部分内容: [1].数据库与数据仓库 为什么有了数据库还...
数据仓库维度建模的读书笔记,建议学习维度建模的初学者可以了解一下
5、Hadoop生态圈的学习笔记,主要记录HDFS、MapReduce、Yarn相关读书笔记及源码分析等 5.1 HDFS Hadoop快速入门 HDFSOverView Hadoop广义生态系统 Hadoop高可用配置 HadoopCommon分析 HDFS集群相关管理 HDFS Shell ...
第11章 数据仓库和商务智能.pdf 第12章 元数据管理.pdf 第13章 数据质量.pdf 第14章 大数据和数据科学.pdf 第15章 数据管理成熟度评估.pdf 第16章 数据管理组织与角色期望.pdf 第17章 数据管理和组织变革管理...
笔记主要涵盖:Java,JVM,JUC,Spring,SpringCloud,计算机网络,操作系统,数据结构,Vue等 本仓库有来源自己总结,网上收集,视频笔记,如果有有所区别,可以联系我进行删除 因个人能力有限,笔记中可能还有很多...
也可以到仓库的 README 阅读本文,容我厚脸皮地求 star,求 follow。 整体思路 不知道有没有同学和我一样,看着vue的源码却不知从何开始,真叫人头大。硬生生地看了observer, watcher, compile这几部分的源码,只...
有关贡献科学笔记本的详细介绍和说明,请访问此项目的“文档阅读”页面: 如果您在2021年2月5日之前在本地克隆此存储库 此仓库的主要分支已从master转到main 。 如果您拥有此存储库的本地克隆,并希望使本地分支与...
Python数据科学手册 Python数据科学手册 该存储库包含(免费!)Jupyter笔记本形式的整个。 本代码仓库包含着整本书籍,使用免费的Jupyter笔记本格式呈现。 译者注:作者英文版。 如何使用这本书 如何阅读本书 在...
数据仓库工具箱笔记 前言 这本书是维度建模的权威指南,但是由于书写的时间比较早,随着技术的不断更迭有些内容以及不适用了.不讨论当时技术在现在是否还适用,仅仅当经典概念来学习. 书中内容是根据不同的业务场景来...
最后,写了那么久笔记,还是觉得用Markdown+GitHub+Typora是最舒服的,不用再担心卡顿问题,导出笔记问题,迁移数据问题。缺点是他人阅读不方便,必须下载笔记后在本地查看才笔记友好,另外只适合记一些简单样式的...
对于非奖金材料,我建议按顺序阅读笔记。 除项目外,奖金材料可以任何顺序处理。 在教程中,请确保打开HTML版本。 必备知识 我假设您属于以下类型的编码器: 您是一种数据分析类型,他知道如何使用Pandas读取/写入...