建站
咨詢
售后
建站咨詢
新聞中心
大家好~我是小刀！
創(chuàng)新互聯(lián)建站專注于企業(yè)營銷型網(wǎng)站建設(shè)、網(wǎng)站重做改版、金州網(wǎng)站定制設(shè)計、自適應(yīng)品牌網(wǎng)站建設(shè)、成都h5網(wǎng)站建設(shè)、成都做商城網(wǎng)站、集團公司官網(wǎng)建設(shè)、成都外貿(mào)網(wǎng)站建設(shè)公司、高端網(wǎng)站制作、響應(yīng)式網(wǎng)頁設(shè)計等建站業(yè)務(wù)，價格優(yōu)惠性價比高，為金州等各大城市提供網(wǎng)站開發(fā)制作服務(wù)。
在數(shù)據(jù)分析中，數(shù)據(jù)清洗是一個必備階段。數(shù)據(jù)分析所使用的數(shù)據(jù)一般都很龐大，致使數(shù)據(jù)不可避免的出現(xiàn)重復(fù)、缺失、格式錯誤等異常數(shù)據(jù)，如果忽視這些異常數(shù)據(jù)，可能導(dǎo)致分析結(jié)果的準(zhǔn)確性。
用以下數(shù)據(jù)為例，進行講解數(shù)據(jù)清洗常用方式：
下面的操作只做示例，具體數(shù)據(jù)的清洗方式要根據(jù)數(shù)據(jù)特性進行選擇！
重復(fù)值處理
重復(fù)值處理，一般采用直接刪除重復(fù)值的方式。在pandas中，可以用duplicated函數(shù)進行查看和drop_duplicates函數(shù)刪除重復(fù)數(shù)據(jù)。
如下所示，可以通過duplicated函數(shù)查看重復(fù)的數(shù)據(jù):
需要刪除重復(fù)值時，可直接用drop_duplicates函數(shù)完成：
缺失值處理
缺失值與重復(fù)值一樣，都是數(shù)據(jù)中比較常見的問題，必須進行處理才能進行下一步分析，保證分析的準(zhǔn)確性。缺失值在數(shù)據(jù)中一般用NaN表示，在處理缺失值時，一般采用刪除和填補方式進行處理。但在實際中，缺失值的處理是一件非常困難的事情，刪除和填補方式都無法解決，最后只能留著。
在pandas中，其有多種方式查看和處理缺失值的方法。
查看缺失值
最為基礎(chǔ)的可以通過isnull和notnul，或者info函數(shù)來實現(xiàn)。
用info函數(shù)可以很清楚的知道每一列的缺失值情況，進而做出判斷處理：
isnull函數(shù)為判斷序列元素是否為缺失，notnul函數(shù)判斷序列元素是否不為缺失，二者在本質(zhì)上是一樣的。而二者在數(shù)據(jù)量龐大時，效果很差。所以一般不會單獨使用，而是配合其它方法進行使用。
查看某列缺失值所在的行：
isnull函數(shù)配合sum函數(shù)計算每列缺失值的個數(shù)：
在多數(shù)查看缺失值中，經(jīng)常會采用計算缺失值在列中占比的方式，判斷缺失對數(shù)據(jù)具有多大的影響，從而選擇是刪除數(shù)據(jù)還是填補數(shù)據(jù)。計算占比可使用以下方式：
- df.apply(lambda x: x.isnull().sum()/x.size)
x.size為各個數(shù)據(jù)列總行數(shù)：
缺失值刪除
刪除缺失值的情形，一般是在不會影響分析結(jié)果、造成的影響無傷大雅，或者難以填補的時候采用。
在pandas中，可以直接用dropna函數(shù)進行刪除所有含有缺失值的行，或者選擇性刪除含有缺失值到的行：
缺失值填補
在無法直接刪除缺失值時，或者包含缺失值的行具有很多而無法選擇性刪除時，填補是最佳的選擇，但填補的方式要根據(jù)數(shù)據(jù)來選擇，否則填補的數(shù)據(jù)依然會影響分析的準(zhǔn)確性。
在pandas中，可以使用fillna函數(shù)完成對缺失值的填補，例如對表中的體重列進行填補，填補方法為中位數(shù)：
或者用平均值填補：
也可以用pandas中的ffill函數(shù)對缺失值進行前向填補，但在前向填補時需要注意各個列數(shù)據(jù)的情況：
但可以看到，體重列的第一行未填補完成，而pandas中提供了bfill函數(shù)進行后向填補：
數(shù)據(jù)類型轉(zhuǎn)換
數(shù)據(jù)類型關(guān)乎后面的數(shù)據(jù)處理和數(shù)據(jù)可視化，不同的數(shù)據(jù)類型處理和進行可視化的用法都不一樣，因此，事先把數(shù)據(jù)的類型轉(zhuǎn)換好，利于后面的相關(guān)步驟。
在pandas中，可以用info和dtypes方法進行查看數(shù)據(jù)類型:
常用的數(shù)據(jù)類型包括str（字符型）、float（浮點型）和int（整型）。當(dāng)某列數(shù)據(jù)的類型出現(xiàn)錯誤時，可通過astype函數(shù)進行強制轉(zhuǎn)換數(shù)據(jù)類型。例如下面通過astype函數(shù)對數(shù)值型列轉(zhuǎn)換為字符型：
文本處理
在數(shù)據(jù)中，文本在某種程度上可以說是最‘臟’的數(shù)據(jù)，不管在錄入的數(shù)據(jù)，還是爬取的數(shù)據(jù)，總會出現(xiàn)各種各樣的‘臟’數(shù)據(jù)，處理難度非常高。在處理中，主要是切分字符串、值替換。
pandas提供了df.str.split.str()方法對字符串的切割，以下通過此方法獲得地級市名稱：
對于一些多數(shù)詞，可以通過df.str.replace()方法進行增加、替換或者刪除：
以上就是本文的全部內(nèi)容了，如果你喜歡或者對你有幫助，請給我點個贊吧！
網(wǎng)站標(biāo)題：用Python進行數(shù)據(jù)清洗方式，這幾種都很常見！
分享鏈接：http://m.5511xx.com/article/dhschdd.html
