基于數(shù)據(jù)源的“臟”數(shù)據(jù)分類

通常情況下，將數(shù)據(jù)源中不完整、重復(fù)以及錯誤等有問題的數(shù)據(jù)稱為“臟”數(shù)據(jù)。由于數(shù)據(jù)倉庫的數(shù)據(jù)來自底層數(shù)據(jù)源，因此“臟”數(shù)據(jù)出現(xiàn)的原因與數(shù)據(jù)源有密切的關(guān)系。基于數(shù)據(jù)源的“臟”數(shù)據(jù)分類如圖所示。

圖1基于數(shù)據(jù)源的“臟”數(shù)據(jù)分類

從圖1中可以看出，基于數(shù)據(jù)源的“臟”數(shù)據(jù)質(zhì)量問題可以分為兩類，即單數(shù)據(jù)源問題和多數(shù)據(jù)源問題。單數(shù)據(jù)源問題和多數(shù)據(jù)源問題的具體介紹如下。

1)單數(shù)據(jù)源問題

單數(shù)據(jù)源的數(shù)據(jù)質(zhì)量主要取決于它的模式對數(shù)據(jù)完整性約束的控制程度。由于數(shù)據(jù)模式和完整性約束控制了數(shù)據(jù)的范圍，如果單數(shù)據(jù)源沒有數(shù)據(jù)模式，就會對進(jìn)入和存儲的數(shù)據(jù)。

缺乏相應(yīng)的限制，此時很有可能出現(xiàn)拼寫錯誤的數(shù)據(jù)和不一致的數(shù)據(jù)。

單數(shù)據(jù)源的實例層問題是由于數(shù)據(jù)在模式層無法預(yù)防的錯誤和不一致引起的。典型的單數(shù)據(jù)源實例層問題包括缺失值(即一些記錄在某些屬性上沒有值)、拼寫錯誤(即在數(shù)據(jù)輸入時容易出現(xiàn))、屬性依賴沖突(即不滿足屬性間的依賴關(guān)系，如城市名與郵政編碼不滿足對應(yīng)關(guān)系等)以及相似重復(fù)記錄(即由于數(shù)據(jù)輸入錯誤等原因?qū)е掠卸鄺l記錄表示現(xiàn)實世界中的同一個實體)。

對于不同范圍的數(shù)據(jù)質(zhì)量問題，相應(yīng)的數(shù)據(jù)清洗方式也會有所不同，清楚地了解目標(biāo)數(shù)據(jù)存在的質(zhì)量問題是提供完善的數(shù)據(jù)清洗方式的基礎(chǔ)。

2)多數(shù)據(jù)源問題

單數(shù)據(jù)源情況下出現(xiàn)的問題在多數(shù)據(jù)源情況下變得更加嚴(yán)重。每個數(shù)據(jù)源中都有可能包含“臟”數(shù)據(jù)，而且每個數(shù)據(jù)源中的數(shù)據(jù)表示方法都各自不同，還有可能出現(xiàn)數(shù)據(jù)重復(fù)或矛盾沖突。因為在很多情況下，各個數(shù)據(jù)源都是為了滿足某一個特定需要而單獨設(shè)計、配置和維護(hù)，這很大程度上導(dǎo)致數(shù)據(jù)庫管理系統(tǒng)、數(shù)據(jù)模型、模式設(shè)計和實際數(shù)據(jù)的異構(gòu)性。多數(shù)據(jù)源中存在的與模式相關(guān)的質(zhì)量問題主要是名字沖突和結(jié)構(gòu)沖突。名字沖突表現(xiàn)在同一個名字表示不同的對象，或不同的名字表示同一個對象;結(jié)構(gòu)沖突的典型表現(xiàn)是不同的數(shù)據(jù)源中同一對象用不同的方式表示。

除模式相關(guān)的質(zhì)量問題外，許多質(zhì)量問題只出現(xiàn)在實例層次上。單數(shù)據(jù)源中出現(xiàn)的各種問題都將以不同方式出現(xiàn)在不同的數(shù)據(jù)源中，如重復(fù)記錄、矛盾記錄等。即使在具有相同屬性名稱和數(shù)據(jù)類型的情況下，各異構(gòu)數(shù)據(jù)源中的數(shù)據(jù)也可能有不同的表示方式，或不同的解釋在不同的數(shù)據(jù)源中信息的聚集程度以及代表的時間點都有可能不同。