返回
首页
业界
电商
创业
访谈
手机
移动
报告
运营
建站
互联网+
系统
教程
搜索

大数据和Hadoop时代的维度建模和Kimball数据集市

2017-10-27 12:30:34于丽


　　维度建模已逝世？

 

　　正在答复那个成绩之前，让我们转头去看看甚么是所谓的维度数据建模。

 

　　为何需求为数据建模？

 

　　有一个常睹的误区，数据建模的目标是用 ER 图去设想物理数据库，实践上近不只云云。数据建模代表了企业营业流程的庞大度，记载了主要的营业划定规矩战观点，并有助于标准企业的枢纽术语。它明晰天论述、辅佐企业提醒贸易历程中恍惚的念法战歧义。别的，能够利用数据模子取其他长处相干者停止有用相同。出有蓝图，不成能制作一个屋子或桥梁。以是，出无数据模子那样一个蓝图，为何要成立一个数据使用，好比数据堆栈呢？

 

　　为何需求维度建模？

 

　　维度建模是数据建模的一种特别办法。维度建模有两个同义词，数据散市战星型构造。星型构造是为了更好天停止数据阐发，参考上面图示的维度模子，能够有一个很曲不雅的了解。经由过程它能够立刻晓得怎样经由过程客户、产物、工夫对定单停止朋分，怎样经由过程襟怀的会萃战比力对定单营业历程停止绩效评价。

 

　　维度建模最枢纽的一面，是要界说事件性营业历程中的最低粒度是甚么。假如切割或钻进数据，到叶级便不克不及再往下钻与。从另外一个角度看，星型构造中的最低粒度，即究竟战维度之间出有停止任何会萃的联系关系。



　　数据建模战维度建模

 

　　尺度数据建模的使命，是消弭反复战冗余的数据。当数据发作变革时，我们只需正在一个处所修正它，那有助于包管数据的量量，制止了差别处所的数据差别步。参考上面图示的模子，它包罗了代表天文观点的几张表。正在标准化模子中，每一个真体有一个自力的表，数据建模只要一张表：geography。正在那张表中，city 会反复呈现许多次。而关于每一个 city，假如 country 改动了名字，便不能不正在许多处所停止更新。



　　注：尺度数据模子老是服从 3NF 形式。

 

　　尺度的数据建模，自己其实不是为了贸易智能的事情背载而设想的。太多的表会招致过量的联系关系，而表联系关系会招致机能降落，正在数据阐发中我们要极力来制止那种情况发作。数据建模历程中，经由过程反标准化把多个相干表兼并成一个表，比方前里例子里的多个表被预兼并成一个 geography 表。

 

　　那末为什么部门人以为维度建模已逝世？

 

　　普通人皆承认数据建模的方法，而把维度建模当做特别处置方法，它们皆是有代价的。那为何正在年夜数据战 Hadoop 的时期，部门人会以为维度建模出用了？

 

　　“数据堆栈之逝世”

 

　　尾先，一些人混合了维度建模战数据堆栈。他们以为数据堆栈已逝世，因而得出结论：维度建模也能够被拾进汗青的渣滓箱。那种论面正在逻辑上是连接的，可是，数据堆栈的观点近出有过期。我们老是需求散成的、牢靠的数据去发生贸易智能仪表盘（BI Dashboards）。

 

　　只读构造的曲解

 

　　第两个常闻声的争辩，好比“我们遵照只读方法的构造（Schema），以是没有需求对数据再停止建模了”。依我看去，那是数据阐发历程中最年夜的曲解之一。我赞成开初仅转储本初数据，那时不外多思索构造是故意义的。可是，那不该该成为不合错误数据停止建模的托言。只读方法的构造只是低落了下流体系的才能战义务，一些人不能不咬牙来界说数据范例。会见无形式数据转储的每个历程皆需求本人弄分明发作了甚么，而那完整是过剩的。经由过程界说数据范例战准确的构造，能够很简单天制止那些事情。

 

　　再道反标准化战物理模子

 

　　能否那些宣扬维度建模的不雅面实践上已过期了?确实有些不雅面比上里列出的两条更好，要了解它们需求对物理建模战 Hadoop 的事情方法有一些理解。

 

　　前里简朴提到接纳维度建模的本果之一，战数据的物理存储方法有闭。尺度数据建模中每一个实在天下里的真体，有一个本人的表。我们那样做，是为了不数据冗余战量量成绩正在数据中舒展。越多的表，便需求越多的联系关系，那是尺度建模的缺陷。表联系关系的价格是高贵的，出格是联系关系数据集合联系关系年夜量记载的时分特别凸起。当我们思索维度建模时，会把多个表兼并起去，那便是所谓的预联系关系大概道数据反标准化。最初的成果是，获得更少的表、更少的联系关系、更低的提早战更好的查询机能。

 

　　可到场发英上相干的会商。

 

　　完全反标准化

 

　　为何没有把反标准化做到完全？来失落一切的表联系关系只保存一张表？确实，那样做能够没有需求对任何表停止联系关系，可是能够设想到，它会带去一些背里影响。尾先，它需求更多的存储，果为要存储年夜量的冗余数据。跟着数据阐发的列式存储格局的呈现，那一面如今没有那末使人担心了。反标准化最年夜的成绩是，每次属性值发作变革，便不能不正在许多处所停止更新，能够是几千以至几百万次更新。一个处理法子是正在早晨对模子停止齐量重载，凡是那比删量更新要更快、更简单。列式数据库凡是接纳那种办法，尾先将要做的更新存储正在内存中，然后同步天写进磁盘。

 

　　散布式干系型数据库(MPP)上的数据散布

 

　　正在 Hadoop，比方 Hive、SparkSQL 上成立维度模子，要很好天文解一个手艺上的中心特性，便是它战散布式干系型数据库（MPP）上的成立方法是纷歧样的。正在 MPP 中的节面上散布数据，能够掌握每条数据记载的地位。基于分区战略，比方 Hash、List、Range 等，能够正在统一个节面上跨表同定位（co-located）各个记载的键值。因为数据的部分性获得包管，联系关系速率会十分快，果为没有需求正在收集上收收任何数据。参考上面图示的例子，正在 ORDER 战 ORDER_ITEM 表中有不异 ORDER_ID 的记载存储正在统一节面上：



　　ORDER 战 ORDER_ITEM 表中 ORDER_ID 对应的键值，正在不异的节面做到同定位。

 

　　Hadoop上的数据散布

 

　　数据散布正在基于 Hadoop 的体系中长短常差别的，我们将数据朋分成年夜型的块（chunks），并正在 Hadoop 散布式文件体系（HDFS）的各个节面停止分收战复造。那种数据分收战略不克不及包管数据的分歧性。参考上面图示的例子，记载 ORDER_ID 的键被存储正在差别的节面：



　　为了联系关系它们，需求正在收集上收收数据，那样做会影响机能。

 

　　处置那个成绩的一个战略，是正在散群的一切节面上复造要联系关系的表，该战略被称为播送式联系关系（broadcast join）。假如对 MPP 利用不异的战略，能够设想，只能用正在较小的 lookup 或维度表中。



　　那末当联系关系一个年夜的究竟表战一个年夜的维度表，好比客户或产物，以至联系关系两个年夜型究竟表时，我们该怎样办？

 

　　Hadoop上的维度建模

 

　　为理解决机能成绩，能够操纵反标准化将年夜的维度表放进究竟表，以包管数据是同定位的（co-located），而对较小的维度表能够正在一切节面上播送（broadcast）。

 

　　联系关系两个年夜型究竟表时，能够把低粒度的表嵌套到更下粒度的表中，比方把 ORDER_ITEM 表嵌套到 ORDER 表中。初级的查询引擎，好比 Impala 或 Drill 能够让数据扁仄化（flatten out）：



　　嵌套数据的战略很有效，相似于 Kimball 观点顶用桥接表去暗示维度模子中的 M:N 干系。

 

　　Hadoop弛缓缓变革维

 

　　Hadoop 文件体系中的存储是不成变的，换句话道，只能插进战逃减记载，不克不及修正数据。假如您熟习的是干系型数据堆栈，那看起去能够有面奇异。可是从内部机造看，数据库是以相似的机造事情，正在一个历程同步天更新数据文件中的数据之前，将一切变动保留正在一个不成变的预写式日记（WAL- write-ahead log，Oracle中称为redo log）中。

 

　　不成变性（immutability）对维度模子有甚么影响？您或许借记得维度建模课程中突变维的观点（Slowly Changing Dimensions – SCDS）。SCDS 有挑选天保留属性值变动的汗青，因而能够正在某个工夫面上对属性值停止襟怀。但那没有是默许的处置方法，默许状况下会用最新的值去更新维度表。那末正在 Hadoop 上怎样挑选呢？记着!我们不克不及更新数据。我们能够简朴天为 SCD 挑选默许方法并对每个变革停止考核（audit）。假如念运转基于当前值的报表，能够正在 SCD 之上创立一个视图，让它仅仅检索到最新值，操纵 Windows 函数能够很简单做到那一面。大概，能够运转一个所谓兼并（Compaction）的效劳，用最新的值物理天创立维度表的一个零丁版本。

 

　　Hadoop的存储演变

 

　　Hadoop 仄台的供给商并出有无视那些 Hadoop 的限定，比方 Hive 便供给了满意 ACID 的事件战可更新的表。按照年夜量的次要公然成绩和小我私家经历，那个特征借出有完美到能够布置消费情况。Cloudera 采纳了别的一个手腕，操纵 Kudu 成立了一个新的可变动存储格局，它并出有基于 HDFS，而是基于当地 OS 操纵体系。它完整挣脱了 Hadoop 的限定，相似于列式 MPP 的传统存储层。凡是去道，正在 Impala + Kudu 那样一个 MPP 上运转 BI 战 Dashboard 的任何利用场景，会比 Hadoop 更好。不能不道，当它触及到弹性、并收性战扩大性时，有本人的范围。当逢到那些限定时，Hadoop 战它的远亲 Spark 是处理 BI 事情背载的好挑选。

 

　　讯断：维度模子战星型形式过期了吗？

 

　　我们皆晓得，Ralph Kimball 曾经退戚了，但他设想本则的思惟战不雅念仍旧是有用的，也将会持续存正在。即便我们不能不让它们顺应新的手艺战存储范例，它们仍旧可以带去宏大的代价。
 


相关文章 大家在看