什么是數據清洗？主要應用在哪些領域？

更新時間:2022年06月28日14時33分來源:傳智教育瀏覽次數:

數據清洗技術是提高數據質量的有效方法。這項技術是一個較新的研究領域，對大數據集的清洗工作需要花費很長的時間。由于不同的應用領域對數據清洗有不同的解釋，因此數據清洗直到現在都沒有一個公認、統一的定義。數據清洗主要應用于3個領域，即數據倉庫領域、數據挖掘領域以及數據質量管理領域。

在數據倉庫領域中，當多個數據庫合并時或多個數據源進行集成時，都需要進行數據清洗。例如，當同一個實體的記錄在不同數據源中以不同的表示格式或錯誤表示的情況下，合并后的數據倉庫中就會出現重復的記錄，數據清洗的程序就需要識別出重復的記錄并消除重復的記錄，也就是所謂的數據合并或清除(Merge/Purge)問題。在數據倉庫環(huán)境中，數據清洗主要包括數據的清洗和結構的轉換兩個過程。

在數據挖掘領域中，數據清洗是數據進行預處理過程的第一個步驟。在數據預處理應用中，數據清洗的主要任務是提高數據的可用性，即去除噪聲、無關數據以及空值等，并考慮數據的動態(tài)變化。在字符分類問題中，通過使用機器學習的技術進行數據清洗，即使用特定算法檢測數據庫對缺失和錯誤的數據予以修改。

在數據質量管理領域中，數據質量管理是一個學術界和商業(yè)界都感興趣的領域。數據質量管理主要用于解決信息系統中的數據質量及集成問題。在該領域中，數據清洗從數據質量的角度出發(fā)，把數據清洗過程和數據生命周期集成在一起，對數據的正確性進行檢查并提高數據質量。

上一篇：基于清洗方式的“臟”數據分類【大數據技術文章】 下一篇：小白學python推薦哪個培訓機構？