章资料仓储系统架构汇总

第2章：資料倉儲系統架構•資料倉儲系統架構•操作性資料商店•資料超市•BillInmon與RalphKimball兩派學說的比較本章學習重點臨時資料儲存區資料來源系統操作與管理中繼資料資料提取資料邏輯層資料存放層資料展現層資料倉儲系統架構資料轉換及清潔•資料倉儲系統的資料來源包括在組織內外的任何一種有分析價值的資料。舉例如下：–與營業有關的作業系統。–組織內部的體制結構。–網頁瀏覽記錄。–組織內部做的市場調查。–第三者所提供的人口統計資料、市場調查、或是其他任何有用的資料。資料來源層資料來源層•資料在來源處有可能以許多種不同的方式存在。比較常見的有：–作業系統的特定存放法。–關係型資料庫。–試算表（如Excel檔）。–文字檔。–第三者所提供的線上報表。–白紙黑字（沒有電子化的資料）。•資料提取層的目的是將資料由資料來源轉入臨時資料儲存區內。•資料提取層所運用的技術很多。最常見的如下：–COBOL程式。–Perl程式。–資料庫的大量輸入（BulkInsert）功能。–SQL或是其他的資料庫語言（如PL/SQL或T-SQL）。–資料移動與轉換工具。資料提取層•臨時資料儲存區的目的是讓所有的資料都被存放在同一個平台上，如此一來之後的整合工作將會比較容易進行。•在此資料存在的型式與它在來源處的型式是非常接近的。臨時資料儲存區•可以算是整個資料倉儲最重要的一層。這一層有以下的功能：–整合資料。–清潔資料。–將資料轉換為適合用來做分析的模式。資料轉換及清潔層•目的為存放處理過後的資料。•資料在這一層可能會存在於三種不同的個體上。它們分別是操作性資料商店、資料倉儲、以及資料超市。資料存放層操作性資料商店、資料倉儲、以及資料超市的比較操作性資料商店資料倉儲資料超市歷史性資料不包括包括包括主要用處提供資料給前端操作性系統存放組織中的經過整合及清潔的資料給使用者作分析所用資料模式類別第三正規式第三正規式或維度模式維度模式直接開放給使用者用不開放視情況而定開放數目可多於1個,也有可能不存在最多1個可多於1個,也有可能不存在•資料邏輯層是用來詳述組織的業務規則。•在有些情況下，業務規則經常會變動，可是這些變動對資料本身並沒有直接的影響。這類的業務規則就適合放置於資料邏輯層。資料邏輯層•資料是以使用者可以輕易瞭解的型式展現•會用到的通訊方式都可以當作資料展現的媒介。–用戶端電腦、瀏覽器、電話、傳真、無線應用以及呼叫器。•在這一層最常見到的問題就是資料邏輯層和資料展現層沒有分開。資料展現層•中繼資料的定義是有關資料的資料（dataaboutdata）。•完整的中繼資料可以使一個資料倉儲系統容易管理、維護、以及成長。•中繼資料是橫跨整個資料倉儲系統架構的。•中繼資料的儲存與管理可以說是資料倉儲系統最重要的一環；可是它也最容易被忽視的一環。中繼資料•使用者會直接用到中繼資料的機會不多，而且中繼資料設置不當一般來說並不會影響到系統上線。•大部份的進行計劃中完全沒有提到中繼資料這件事。•資料倉儲團隊在作品質確認時不會去驗證中繼資料的正確與否。•專案結束要繳交的東西中很少包括完整的中繼資料。中繼資料容易被忽視的原因•系統操作與管理是橫跨資料提取到資料展現層的。•包括以下幾個項目：–檢視使用者的使用情形–系統的運作情形–固定工作的設定（那個時間點開始進新的資料，系統出問題時要如何通知資料倉儲團隊人員等等）系統操作與管理•英文名為OperationalDataStore，簡稱ODS。•建置一個操作性資料商店與否可以以需不需要支援前端操作的系統為準。操作性資料商店•主題導向–操作性資料商店是為了對不同的主題來做分析，因此資料的儲存是以主題為準。–這點與資料倉儲一樣。•經過整合–操作性資料商店中的資料是已被整合過的。–這點與資料倉儲一樣。操作性資料商店特性(一)•資料是經常被補充的–操作性資料商店裏的資料是經常被補充的。–這是由於前端的操作系統需要用到即時或近即時的資料。•含有詳細的資料–這是因為操作性資料商店是用來支持前端操作系統的，而一般來說那些系統經常需要一些詳細的資料。操作性資料商店特性(二)•不包括歷史資料–假設一筆資料經過了改變，在操作性資料商店中只能看到了已改變的資料。•會改變的–所儲存的資料是會改變的。–在不同的時間做同樣的察詢將得到不同的結果。操作性資料商店特性(三)•操作性資料商店依照資料進入的頻率，可以被歸類於以下四級：–第一級：資料會即時被匯入操作性資料商店中。–第二級：資料每二至四個小時會被匯入操作性資料商店中。–第三級：資料每二十四個小時會被匯入操作性資料商店中。–第四級：資料在有需要時才由資料倉儲匯入操作性資料商店中。操作性資料商店類別•英文名為DataMart。•與資料倉儲有同樣的定義。•資料超市與資料倉儲不同的地方是資料超市只包含一部份特定的資料，而且使用者是侷限於某些人。資料超市•資料超市一般建置的方式有兩種：–由資料倉儲提供資料•接近BillInmon的理念。•適合在組織中已經建置了一個資料倉儲的情況下。–不另外經過資料倉儲，而直接由臨時資料儲存區經過資料轉換與清潔層進入•比較接近RalphKimball的理念。•適合於當組織是採取一個接一個資料超市的方式時。資料超市建置方式•資料超市建置成本較資料倉儲低。•資料超市的建置速度比資料倉儲快。•資料超市較易管理。資料超市好處•在建置資料超市時，我們需要注意不要建置出好幾個資料孤島。•資料孤島的意思就是不同的資料群之間是沒有連接的。•如果一個組織中有許多資料孤島，那這些資料超市就等於是沒建，因為這樣一來就失去了「整合」的意義。資料孤島•避免「資料孤島」的方法是在為設計各個資料超市時，我們要運用到「一致性維度」（ConformedDimension）的概念。•一致性維度就是在一個組織之下的每一個維度都有一個統一的定義及涵蓋一樣的資料。•一致性維度在實際上執行並不容易，可以説這是一個成功的資料倉儲系統中不可或缺的一環。一致性維度BillInmon和RalphKimball的比較項目BillInmonRalphKimball資料倉儲資料模式第三正規形式維度形式資料倉儲與資料超市的關係資料超市是資料倉儲的一個層面資料倉儲是由多個資料超市而組成的範圍比較廣義比較狹義概念比較理論比較實際•這兩派並沒有絕對的誰對誰錯。•在實際上建置的情形中RalphKimball的理念比較常被採用。•無論是運用哪一種理念，最重要的是任何開放給使用者直接使用的系統需要是以維度模式來儲存資料。BillInmon和RalphKimball的比較