Python中可以用于數(shù)據(jù)預(yù)處理的庫有哪些？

Python作為目前較為熱門的編程語言，它已經(jīng)滲入數(shù)據(jù)分析、數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)等以數(shù)據(jù)為支撐的多個(gè)領(lǐng)域，并分別為這些領(lǐng)域提供了功能強(qiáng)大的庫。這些庫中會涉及一些數(shù)據(jù)預(yù)處理的操作，以幫助開發(fā)人員解決各種各樣的數(shù)據(jù)問題。Python中常用的與數(shù)據(jù)預(yù)處理相關(guān)的庫包括 NumPy、pandas、SciPy、scikit-leamn等，關(guān)于這些庫的具體介紹如下。

1. NumPy

NumPy(源于Numeric和Python)是一個(gè)Python開源的、高性能的基礎(chǔ)科學(xué)計(jì)算庫，該庫具有以下特點(diǎn)。

(1)提供了一個(gè)可高效處理復(fù)雜數(shù)據(jù)的N維數(shù)組對象ndarray。該對象的存儲效率和輸人/輸出性能遠(yuǎn)遠(yuǎn)優(yōu)于Python中等價(jià)的數(shù)據(jù)結(jié)構(gòu)。

(2)大部分代碼由C語言編寫，性能比純Python 代碼高得多。

(3)無須循環(huán)，便可完成類似MATL.AB中的矢量運(yùn)算。

(4)支持線性代數(shù)、隨機(jī)數(shù)生成以及傅里葉變換功能。

2. pandas

pandas是一個(gè)基于NumPy的庫，是專門為實(shí)現(xiàn)數(shù)據(jù)分析任務(wù)而創(chuàng)建的。pandas中納人了大量庫和標(biāo)準(zhǔn)的數(shù)據(jù)模型，并提供了高效地操作大型數(shù)據(jù)集的函數(shù)和方法，方便用戶快速地處理大型數(shù)據(jù)集。pandas具有以下特點(diǎn)。

(1)提供了數(shù)據(jù)結(jié)構(gòu)DataFrame，可以自由地插人或刪除數(shù)據(jù)結(jié)構(gòu)中的列。

(2)提供了智能數(shù)據(jù)對齊和缺失數(shù)據(jù)的集成處理。

(3)提供了基于標(biāo)簽的切片、花式索引和布爾索引。

(4)提供了分組聚合功能。

(5)提供了高性能的合并數(shù)據(jù)功能。

(6)提供了時(shí)間序列的功能。

(7)提供了讀取與寫人數(shù)據(jù)的功能。

(8)提供了數(shù)據(jù)預(yù)處理功能。

(9)提供了數(shù)據(jù)可視化功能。

3. SciPy

SciPy是一個(gè)面向Python的開源科學(xué)計(jì)算庫。該庫自2001年首次發(fā)布以來，已經(jīng)成為Python中科學(xué)算法的行業(yè)標(biāo)準(zhǔn)。SciPy庫建立在NumPy庫之上，它擁有數(shù)以千計(jì)的開發(fā)包和超過150000個(gè)依賴存儲庫，具備線性代數(shù)、常微分方程數(shù)值求解、信號處理、圖像處理、稀疏矩陣等功能。

4. scikit-learn

scikit-learn是一款Python中專門針對機(jī)器學(xué)習(xí)應(yīng)用而開發(fā)的開源庫。與其他開源項(xiàng)目相比，scikit-leam庫的特點(diǎn)是主要是由社區(qū)成員自發(fā)維護(hù)，并不斷地拓展機(jī)器學(xué)習(xí)領(lǐng)域內(nèi)的功能。scikit-lear庫建立于NumPy、SciPy和matplotlib之上，它不僅支持分類、回歸、降維和聚類這四大機(jī)器學(xué)習(xí)算法，包括支持向量機(jī)、隨機(jī)森林、梯度提升、k均值和DBSCAN，還提供了特征提取、數(shù)據(jù)處理、模型評估三大模塊，在學(xué)術(shù)界頗受歡迎。

除了前面介紹的庫之外，我們還可以使用一些圖形化工具來處理數(shù)據(jù)。OpenRefine是一款簡單好用的數(shù)據(jù)清理工具，它與傳統(tǒng)的Excel工具很像，但其工作方式更像數(shù)據(jù)庫，能夠以列或字段的方式來操作數(shù)據(jù)。OpenRefine工具可以幫助用戶在使用數(shù)據(jù)之前完成清理操作，并通過瀏覽器運(yùn)行界面的方式直觀地展示對數(shù)據(jù)的相關(guān)操作。限于篇幅，本書主要圍繞NumPy、pandas這兩個(gè)主流的庫進(jìn)行介紹，也會介紹一款專業(yè)的圖形化工具OpenRefine。