基于清洗方式的“臟”數(shù)據分類【大數(shù)據技術文章】

基于清洗方式的“臟”數(shù)據分類

從圖1-2中可以看出，獨立型“臟”數(shù)據包括單數(shù)據源和多數(shù)據源所有模式層及大多數(shù)實例層的數(shù)據質量問題;依賴型“臟”數(shù)據包括缺失數(shù)據和重復數(shù)據等“臟”數(shù)據。下面對獨立型“臟”數(shù)據和依賴型“臟”數(shù)據進行詳細講解。

1)獨立型“臟”數(shù)據

獨立型“臟”數(shù)據可通過記錄或本身屬性檢驗出是否包含“臟”數(shù)據，不需要依賴其他記錄或屬性檢測。獨立型“臟”數(shù)據使用“數(shù)據合法性檢驗規(guī)則”檢測數(shù)據字段的實際內容，若屬性值不符合規(guī)則，則視為“臟”數(shù)據，此時可調用已定義的相關清洗方式，將其變?yōu)闈M足規(guī)則的數(shù)據，從而可以保證數(shù)據的合法性。

合法性檢驗是判斷數(shù)據是否符合給定標準的過程，判斷標準是用戶根據業(yè)務需要定義的一些檢驗規(guī)則，該規(guī)則主要檢驗的是數(shù)據的格式、數(shù)據的范圍、數(shù)據的枚舉清單以及數(shù)據的相關性等方面，具體介紹如下。

·數(shù)據的格式主要是檢驗記錄的某個字段或字段組中的數(shù)據是否符合規(guī)范格式，這是針對模式層的“臟”數(shù)據進行檢驗。

·數(shù)據的范圍主要是檢查記錄的字段數(shù)據是否在預期的范圍內，常用于檢驗數(shù)字和有效值。

·數(shù)據的枚舉清單主要是參照某個已定義的清單檢驗字段的值。

·數(shù)據的相關性主要通過主鍵和外鍵的關系實現(xiàn)。

綜上所述，數(shù)據的合法性檢驗是一個非常耗時的環(huán)節(jié)，但也是一個必不可少的環(huán)節(jié)，因此，該環(huán)節(jié)應高度自動化。在設計清洗程序時，應該內置較多的檢驗函數(shù)和環(huán)節(jié)，這樣可以減少用戶定制數(shù)據合法性檢驗規(guī)則的工作量。

數(shù)據轉換是將“臟”數(shù)據進行清洗的過程，包括模式轉換和實例轉換。其中，模式轉換用來解決模式層“臟”數(shù)據的問題，通過在元數(shù)據庫中定義表字段的映射規(guī)則、字段拆分規(guī)則以及字段值合并規(guī)則等協(xié)調數(shù)據模式之間的差異，從而實現(xiàn)數(shù)據的清洗;實例轉換是根據源數(shù)據字段的實際內容，結合一定的領域知識解決拼寫錯誤、輸人錯誤、不同的計量單位及過時的編碼等實例層“臟”數(shù)據問題。