【数据仓库设计基础1】关系数据模型理论与数据仓库Inmon方法论

2023-09-13 13:26:44

关系模型被广泛应用于数据处理和数据存储,尤其是在数据库领域,现在主流的数据库管理系统几乎都是以关系数据模型为基础实现的。

一. 关系数据模型中的结构

关系数据模型基于关系这一数学概念。接下来解释关系数据模型中的术语和相关概念。

我们使用一个分公司-员工关系的例子。假设有一个大型公司在全国都有分公司,每个员工属于一个分公司,一个分公司有一个经理。

1.关系

由行和列构成的二维结构,对应关系数据库中的表,如分公司表和员工表。

注意,这种认识只是我们从逻辑上看待关系模型的方式,并不应用于表在磁盘上的物理结构。表的物理存储结构可以是堆文件、索引文件或哈希文件。

  • 堆文件是一个无序的数据集合
  • 索引文件中表数据的物理存储顺序和逻辑顺序保持一致
  • 哈希文件也称为直接存取文件,是通过一个预先定义好的哈希函数确定数据的物理存储位置

2.属性

由属性名称和类型名称构成的顺序对。对应关系数据库中表的列,如地址(Variable Characters)是公司表的一个属性。

在关系数据模型中,我们把关系描述为表,表中的行对应不同的记录,表中的列对应不同的属性
属性可以以任何顺序出现,而关系保持不变,也就是说,在关系理论中,表中的列是没有顺序的

3.属性域

表示属性的取值范围。每一个属性都有一个预定义的值的范围。域描述了属性所有可能的值。
如下表列出了分公司-员工关系的一些属性域。
在这里插入图片描述

 

4.元组

关系中的一条记录,对应关系数据库中的一个表行。

元组可以以任何顺序出现,而关系保持不变,也就是说,在关系理论中,表中的行是没有顺序的

 

5. 关系数据库

一系列规范化的表的集合。

 

6.关系表的属性

关系表有如下属性:

● 每个表都有唯一的名称。
● 一个表中每个列有不同的名字。
● 一个列的值来自于相同的属性域。
● 列是无序的。● 行是无序的。

 

7.关系数据模型中的键

1)超键

一个列或者列集,唯一标识表中的一条记录。

2)候选键 ing

仅包含唯一标识记录所必需的最小数量列的超键。 表的候选键有三个属性:

● 唯一性:在每条记录中,候选键的值唯一标识该记录。
● 最小性:具有唯一性属性的超键的最小子集。?
● 非空性:候选键的值不允许为空。

在我们的例子中,分公司表编号是候选键,如果每个分公司的邮编都不同,那么邮编也可以作为分公司表的候选键。一个表中允许有多个候选键。

3)主键
唯一标识表中记录的候选键。主键是唯一、非空的。没有被选为主键的候选键称为备用键。

对于例子中的分公司表,分公司编号是主键,邮编就是备用键,而员工表的主键是员工编号。

主键的选择在关系数据模型中非常重要,很多性能问题都是由于主键选择不当引起的。

在选择主键时,我们可以参考以下原则:

  • 主键要尽可能地小。
  • 主键值不应该被改变。主键会被其他表所引用。如果改变了主键的值,所有引用该主键的值都需要修改,否则引用就是无效的。
  • 主键通常使用数字类型。数字类型的主键要比其他数据类型效率更高。
  • 主键应该是没有业务含义的,它不应包含实际的业务信息。**无意义的数字列不需要修改,因此是主键的理想选择。**大部分关系型数据库支持的自增属性或序列对象更适合当作主键。
  • 虽然主键允许由多列组成,但应该使用尽可能少的列,最好是单列

4)外键
一个表中的一个列或多个列的集合,这些列匹配某些其他(也可以是同一个)表中的候选键。
注意外键所引用的不一定是主键,但一定是候选键。

当一列出现在两张表中的时候,它通常代表两张表记录之间的关系。

如:分公司表的分公司编号和员工表的所属分公司。它们的名字虽然不同,但却是同一含义。
分公司表的分公司编号是主键,在员工表里所属分公司是外键

所以主键所在的表被称为父表,外键所在的表被称为子表

 

二. 关系完整性

关系数据模型有两个重要的完整性规则:实体完整性和参照完整性。在定义这些术语之前,先要理解空值的概念。

1.空值(NULL)

表示一个列的值目前还不知道或者对于当前记录来说不可用。

空值是处理不完整数据或异常数据的一种方式。空值与数字零或者空字符串不同,零和空字符串是值,但空值代表没有值。因此,空值应该与其他值区别对待。

空值具有特殊性,当它参与逻辑运算时,结果取决于真值表。Oracle的非、与、或逻辑运算真值表。
在这里插入图片描述

举例,如果一个分公司的经理离职了,新的经理还没有上任,此时公司经理列对应的值就是空值。

 

2.关系完整性规则

1)实体完整性
在一个基本表中,主键列的取值不能为空。

基本表指命名的表(就是一般我们定义的表),记录物理地存储在数据库中,与之对应的是视图。
视图是虚拟的表,它只是一个查询语句的逻辑定义,其中并没有物理存储数据。

2)参照完整性
如果表中存在外键,则外键值必须与主表中的某些记录的候选键值相同,否则外键的值必须为空。

如:员工表中的所属分公司是外键。该列的值要么是分公司表的分公司编号列中的值,要么是空(如新员工已经加入了公司,但还没有被分派到某个具体的分公司时)。

 

3.业务规则

业务规则的例子包括属性域和关系完整性规则。属性域用于约束特定列能够取的值。
 

4.关系数据库语言

  1. DDL是Data Definition Language的缩写,意为数据定义语言,用于定义数据库结构和模式。典型的DDL有create、alter、drop、truncate、comment、rename等。
  2. DML是Data Manipulation Language的缩写,意为数据操纵语言,用于检索、管理和维护数据库对象。典型的DML有select、insert、update、delete、merge、call、explain、lock等。
  3. DCL是Data Control Language的缩写,意为数据控制语言,用于授予和回收数据库对象上的权限。典型的DCL有grant和revoke。
  4. TCL是Transaction Control Language的缩写,意为事务控制语言,用于管理DML对数据的改变。它允许一组DML语句联合成一个逻辑事务。典型的TCL有commit、rollback、savepoint、set transaction等。

 
 

三. 规范化

关系数据模型的规范化是一种组织数据的技术。规范化方法对表进行分解,以消除数据冗余,避免异常更新,提高数据完整性。

先看一个不规范化的例子:
在这里插入图片描述

  • 修改异常:上表中张三有两条记录,因为他隶属两个部门。如果我们要修改张三的地址,必须修改两行记录。假如一个部门得到了张三的新地址并进行了更新,而另一个部门没有,那么此时张三在表中会存在两个不同的地址,导致了数据不一致。
  • 新增异常:假如一个新员工加入公司,他正处于入职培训阶段,还没有被正式分配到某个部门,如果deptNo字段不允许为空,我们就无法向employee表中新增该员工的数据。
  • 删除异常:假设公司撤销了D3这个部门,那么**在删除deptNo为D3的行时,会将李四的信息也一并删除。**因为他只隶属于D3这一个部门。

规范化是通过应用范式规则实现的。最常用的范式有第一范式(1NF)、第二范式(2NF)、第三范式(3NF)。

1)第一范式(1NF)表中的列只能含有原子性(不可再分)的值。

上例中张三有两个手机号存储在mobile列中,违反了1NF规则。为了使表满足1NF,数据应该修改为如下表所示。
在这里插入图片描述
 
2)第二范式(2NF)
第二范式要同时满足下面两个条件:

  • 满足第一范式。
  • 没有部分依赖

部分依赖的例子:
员工表的一个候选键是{id, mobile, deptNo},而deptName依赖于{deptNo},同样name仅依赖于{id}即一行中存在两个依赖,因此不是2NF的。

为了满足第二范式的条件,需要将这个表拆如下四个表:
在这里插入图片描述

在这里插入图片描述
 
3)第三范式(3NF)
第三范式要同时满足下面两个条件:

  • 满足第二范式
  • 没有传递依赖

例如,员工表的province、city、district依赖于zip,而zip依赖于(员工)id,换句话说,province、city、district传递依赖于(员工)id,违反了3NF规则。

为了满足第三范式的条件,可以将这个表拆分成employee和zip两个表,如下图:
在这里插入图片描述
把传递依赖的这几列放到一起,进一步减少数据冗余。

 

在关系数据模型设计中,一般需要满足第三范式的要求。

满足3NF的表,重点在于一个表良好的主外键设计。规范化带来的好处是通过减少数据冗余提高更新数据的效率,同时保证数据完整性。

三范式要有一定的度

我们在实际应用中也要防止过度规范化的问题。规范化程度越高,划分的表就越多,在查询数据时越有可能使用表连接操作。而如果连接的表过多,会影响查询的性能。
关键的问题是要依据业务需求,仔细权衡数据查询和数据更新的关系,制定最适合的规范化程度。
还有一点需要注意的是,不要为了遵循严格的规范化规则而修改业务需求。

 
 

四. 关系数据模型与数据仓库

关系数据模型可以提供高性能的数据更新操作,能很好地满足事务型系统的需求,这点毋庸置疑。但是对于查询与分析密集型的数据仓库系统还是否合适呢?

对这个问题的争论由来已久,基本可以分为Inmon和Kimball两大阵营,Inmon阵营是应用关系数据模型构建数据仓库的支持者。

Inmon方法是以下面这些假设的成立为前提的:

  • 假设数据仓库是以企业为中心的,初始的数据能够为所有部门所使用。而最终的数据分析能力是在部门级别体现,需要使用数据集市对数据仓库中的数据做进一步处理,以便为特定的部门定制它们。
  • 数据仓库中的数据不违反组织制定的任何业务规则。
  • 必须尽可能快地把新数据装载进数据仓库,这意味着需要简化数据装载过程或减少数据的装载量。
  • 数据仓库的建立必须从一开始就被设计成支持多种BI技术,这就要求数据仓库本身所使用的技术越通用越好。
  • 假设数据仓库的需求一定会发生变化。它必须能完美地适应其数据和数据结构的变化。

基于这些假设,使用关系数据模型构建数据仓库的优势和必然性就比较明显了。

1.非冗余性
数据冗余越少,需要装载的数据量就越少,装载过程就越快。数据仓库的数据源一般是事务型系统,这些系统通常是规范化设计的。如果数据仓库使用相同的数据模型,意味着数据转换的复杂性可能会降低,同样可以加快数据装载速度。

2.稳定性
由于数据仓库的需求会不断变化,我们需要以一种迭代的方式建立数据仓库。
 
关系数据模型的通用性
众所周知,组织中最经常变化的是它的处理过程、应用和技术,如果依赖于这三个因素中的任何一个建立数据模型,当它们发生改变时,肯定要对数据模型进行彻底修改。为了避免这个问题,关系数据模型的通用性正是用武之地。
 
变化合并ing(how)
另一方面,由于变化不可避免,数据仓库模型应该能比较容易地将新的变化合并进来,而不必重新设计已有的元素和已经实现的实体。

3.一致性
数据仓库模型最本质的特点是保证作为组织最重要资源的数据的一致性,而确保数据一致性正是关系数据模型的特点之一。

4.灵活性
该模型支持由组织制定的政策和约定的规则,同时为数据集市分析数据提供了更多的灵活性,使得数据库存储以及数据装载方面也是最有效的。当然,关系数据模型的缺点也很明显,它需要额外建立数据集市的存储区,并增加相应的数据装载过程。

 
 
参考:《Hadoop构建数据仓库实战》

更多推荐

Mybatis深度解析:从起源到现代应用的全景视角

🌷🍁博主猫头虎带您GotoNewWorld.✨🍁🦄博客首页——猫头虎的博客🎐🐳《面试题大全专栏》文章图文并茂🦕生动形象🦖简单易学!欢迎大家来踩踩~🌺🌊《IDEA开发秘籍专栏》学会IDEA常用操作,工作效率翻倍~💐🌊《100天精通Golang(基础入门篇)》学会Golang语言,畅玩云原生,走遍大

C语言天花板——指针(初阶)

🌠🌠🌠大家在刚刚接触C语言的时候就肯定听说过,指针的重要性以及难度等级,以至于经常“谈虎色变”,但是今天我来带大家走进指针的奇妙世界。🎇🎇🎇一、什么是指针🤔指针理解的两个要点:1️⃣指针是内存中一个最小单元的编号,也就是地址2️⃣平常口语中说的指针,通常指的是指针变量,是用来存放地址的变量数据存储在内存中

Java基于SpringBoot的藏区特产销售系统的研究与实现

今天为大家带来的是基于Java+SpringBoot+Vue的藏区特产销售系统,大家有兴趣的可以看一下博主介绍:✌程序员徐师兄、7年大厂程序员经历。全网粉丝30W+,Csdn博客专家、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域和毕业项目实战✌文章目录1.简介2.主要技术3功能分析4系统分析5

RabbitMQ 几种模式

一、HelloWorld模式在这一部分中,我们将用Java编写两个程序。发送单个消息的生产者和接收消息并打印出来的消费者。模型如下所示:在下图中,“P”是我们的生产者,“C”是我们的消费者。中间的框是一个队列RabbitMQ代表使用者保留的消息缓冲区。1.1生产者1.1.1添加依赖<!--指定jdk编译版本--><bu

Weblogic SSRF 漏洞复现

SSRF实例WeblogicSSRF到GetShell​Weblogic中存在一个SSRF漏洞,利用该漏洞可以发送任意HTTP请求,进而攻击内网中redis、fastcgi等脆弱组件。测试环境搭建编译及启动测试环境sudodockercomposeup-d访问http://10.9.75.58:7001/console

网络爬虫-----爬虫的分类及原理

目录爬虫的分类1.通用网络爬虫:搜索引擎的爬虫2.聚焦网络爬虫:针对特定网页的爬虫3.增量式网络爬虫4.深层网络爬虫通用爬虫与聚焦爬虫的原理通用爬虫:聚焦爬虫:爬虫的分类网络爬虫按照系统结构和实现技术,大致可分为4类,即通用网络爬虫、聚焦网络爬虫、增量网络爬虫和深层次网络爬虫。1.通用网络爬虫:搜索引擎的爬虫比如用户在

基于Java+SpringBoot+Vue前后端分离美食烹饪互动平设计和实现

博主介绍:✌全网粉丝30W+,csdn特邀作者、博客专家、CSDN新星计划导师、Java领域优质创作者,博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域和毕业项目实战✌🍅文末获取源码联系🍅👇🏻精彩专栏推荐订阅👇🏻不然下次找不到哟2022-2024年最全的计算机软件毕业设计选题

关于单片机的分频定时器的记录

记录一内部时钟:对于单片机的频率原来一直不太明白,现在在学习进行记录:主频:以一个72M的STM32单片机作为主频为例子,这个72M主频说得是一秒钟产生72000000(七千两百万)个脉冲或周期,就是一秒钟振荡七千两百万次。分频对于分频来说,实际就是相当于间接降低这个主频,减少这个震荡次数,比如我分频系数为72,那么我

Git从入门到起飞(详细)

Git从入门到起飞Git从入门到起飞什么是Git?使用git前提(注册git)下载Git在Windows上安装Git在macOS上安装Git在Linux上安装Git配置Git配置全局用户信息配置文本编辑器创建第一个Git仓库初始化仓库拉取代码添加文件到仓库提交更改推送Git基本操作查看提交历史比较文件差异撤销更改分支管

争议不断:TikTok如何处理儿童数据隐私问题

在数字时代,社交媒体已经成为了人们生活中不可或缺的一部分,而TikTok,作为全球最热门的社交媒体平台之一,尤其受到年轻用户的喜爱。然而,伴随着TikTok的快速崛起,也涌现出了一系列的争议,其中最引人关注的之一是关于儿童数据隐私的问题。TikTok:年轻一代的最爱TikTok是一款以短视频为主的应用,允许用户制作、编

【flutter】架构之商城main入口

架构之商城main入口前言一、项目模块的划分二、入口main的配置三、配置文件怎么做总结前言本栏目我们将完成一个商城项目的架构搭建,并完善中间的所有功能,总页面大概200个,如果你能看完整个栏目,你肯定能独立完成flutter项目的整体研发工作。首先新建一个叫blog_mall的项目,能看到这里的,我想都知道该怎么创建

热文推荐