日韩无码专区无码一级三级片|91人人爱网站中日韩无码电影|厨房大战丰满熟妇|AV高清无码在线免费观看|另类AV日韩少妇熟女|中文日本大黄一级黄色片|色情在线视频免费|亚洲成人特黄a片|黄片wwwav色图欧美|欧亚乱色一区二区三区

RELATEED CONSULTING
相關(guān)咨詢
選擇下列產(chǎn)品馬上在線溝通
服務(wù)時(shí)間：8:30-17:00
你可能遇到了下面的問題
關(guān)閉右側(cè)工具欄

新聞中心

這里有您想知道的互聯(lián)網(wǎng)營銷解決方案
有輕功：用3行代碼讓Python數(shù)據(jù)處理腳本獲得4倍提速

Python是一門非常適合處理數(shù)據(jù)和自動(dòng)化完成重復(fù)性工作的編程語言，我們?cè)谟脭?shù)據(jù)訓(xùn)練機(jī)器學(xué)習(xí)模型之前，通常都需要對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，而Python就非常適合完成這項(xiàng)工作，比如需要重新調(diào)整幾十萬張圖像的尺寸，用Python沒問題！你幾乎總是能找到一款可以輕松完成數(shù)據(jù)處理工作的Python庫。

成都創(chuàng)新互聯(lián)公司專注于企業(yè)網(wǎng)絡(luò)營銷推廣、網(wǎng)站重做改版、炎陵網(wǎng)站定制設(shè)計(jì)、自適應(yīng)品牌網(wǎng)站建設(shè)、html5、商城網(wǎng)站制作、集團(tuán)公司官網(wǎng)建設(shè)、成都外貿(mào)網(wǎng)站建設(shè)公司、高端網(wǎng)站制作、響應(yīng)式網(wǎng)頁設(shè)計(jì)等建站業(yè)務(wù)，價(jià)格優(yōu)惠性價(jià)比高，為炎陵等各大城市提供網(wǎng)站開發(fā)制作服務(wù)。

然而，雖然Python易于學(xué)習(xí)，使用方便，但它并非運(yùn)行速度最快的語言。默認(rèn)情況下，Python程序使用一個(gè)CPU以單個(gè)進(jìn)程運(yùn)行。不過如果你是在最近幾年配置的電腦，通常都是四核處理器，也就是有4個(gè)CPU。這就意味著在你苦苦等待Python腳本完成數(shù)據(jù)處理工作時(shí)，你的電腦其實(shí)有75%甚至更多的計(jì)算資源就在那閑著沒事干！

今天我（作者Adam Geitgey——譯者注）就教大家怎樣通過并行運(yùn)行Python函數(shù)，充分利用你的電腦的全部處理能力。得益于Python的 concurrent.futures 模塊，我們只需3行代碼，就能將一個(gè)普通數(shù)據(jù)處理腳本變?yōu)槟懿⑿刑幚頂?shù)據(jù)的腳本，提速4倍。

普通Python處理數(shù)據(jù)方法

比方說，我們有一個(gè)全是圖像數(shù)據(jù)的文件夾，想用Python為每張圖像創(chuàng)建縮略圖。

下面是一個(gè)短暫的腳本，用Python的內(nèi)置glob函數(shù)獲取文件夾中所有JPEG圖像的列表，然后用Pillow圖像處理庫為每張圖像保存大小為128像素的縮略圖：

 
 
 
 
    
  
  
  
  
  1. import glob 
    2.   
  
  
  
  2. import os 
    3.   
  
  
  
  3. from PIL import Image 
    4.   
  
  
  
  4.  
    5.   
  
  
  
  5.  
    6.   
  
  
  
  6. def make_image_thumbnail(filename): 
    7.   
  
  
  
  7.     # 縮略圖會(huì)被命名為"_thumbnail.jpg" 
    8.   
  
  
  
  8.     base_filename, file_extension = os.path.splitext(filename) 
    9.   
  
  
  
  9.     thumbnail_filename = f"{base_filename}_thumbnail{file_extension}" 
    10.   
  
  
  
  10.  
    11.   
  
  
  
  11.     # 創(chuàng)建和保存縮略圖 
    12.   
  
  
  
  12.     image = Image.open(filename) 
    13.   
  
  
  
  13.     image.thumbnail(size=(128, 128)) 
    14.   
  
  
  
  14.     image.save(thumbnail_filename, "JPEG") 
    15.   
  
  
  
  15.  
    16.   
  
  
  
  16.     return thumbnail_filename 
    17.   
  
  
  
  17.  
    18.   
  
  
  
  18.  
    19.   
  
  
  
  19. # 循環(huán)文件夾中所有JPEG圖像，為每張圖像創(chuàng)建縮略圖 
    20.   
  
  
  
  20. for image_file in glob.glob("*.jpg"): 
    21.   
  
  
  
  21.     thumbnail_file = make_image_thumbnail(image_file) 
    22.   
  
  
  
  22.  
    23.   
  
  
  
  23. print(f"A thumbnail for {image_file} was saved as {thumbnail_file}") 
    24.

這段腳本沿用了一個(gè)簡單的模式，你會(huì)在數(shù)據(jù)處理腳本中經(jīng)常見到這種方法：

  • 首先獲得你想處理的文件（或其它數(shù)據(jù)）的列表
  • 寫一個(gè)輔助函數(shù)，能夠處理上述文件的單個(gè)數(shù)據(jù)
  • 使用for循環(huán)調(diào)用輔助函數(shù)，處理每一個(gè)單個(gè)數(shù)據(jù)，一次一個(gè)。

咱們用一個(gè)包含1000張JPEG圖像的文件夾測試一下這段腳本，看看運(yùn)行完要花多長時(shí)間：

 
 
 
 
    
  
  
  
  
  1. $ time python3 thumbnails_1.py 
    2.   
  
  
  
  2. A thumbnail for 1430028941_4db9dedd10.jpg was saved as 1430028941_4db9dedd10_thumbnail.jpg 
    3.   
  
  
  
  3. [... about 1000 more lines of output ...] 
    4.   
  
  
  
  4. real 0m8.956s 
    5.   
  
  
  
  5. user 0m7.086s 
    6.   
  
  
  
  6. sys 0m0.743s 
    7.

運(yùn)行程序花了8.9秒，但是電腦的真實(shí)工作強(qiáng)度怎樣呢？

我們?cè)龠\(yùn)行一遍程序，看看程序運(yùn)行時(shí)的活動(dòng)監(jiān)視器情況：

電腦有75%的處理資源處于閑置狀態(tài)！這是什么情況？

這個(gè)問題的原因就是我的電腦有4個(gè)CPU，但Python只使用了一個(gè)。所以程序只是卯足了勁用其中一個(gè)CPU，另外3個(gè)卻無所事事。因此我需要一種方法能將工作量分成4個(gè)我能并行處理的單獨(dú)部分。幸運(yùn)的是，Python中有個(gè)方法很容易能讓我們做到！

試試創(chuàng)建多進(jìn)程

下面是一種可以讓我們并行處理數(shù)據(jù)的方法：

1.將JPEG文件劃分為4小塊。 2.運(yùn)行Python解釋器的4個(gè)單獨(dú)實(shí)例。 3.讓每個(gè)Python實(shí)例處理這4塊數(shù)據(jù)中的一塊。 4.將這4部分的處理結(jié)果合并，獲得結(jié)果的最終列表。

4個(gè)Python拷貝程序在4個(gè)單獨(dú)的CPU上運(yùn)行，處理的工作量應(yīng)該能比一個(gè)CPU大約高出4倍，對(duì)吧？

最妙的是，Python已經(jīng)替我們做完了最麻煩的那部分工作。我們只需告訴它想運(yùn)行哪個(gè)函數(shù)以及使用多少實(shí)例就行了，剩下的工作它會(huì)完成。整個(gè)過程我們只需要改動(dòng)3行代碼。

首先，我們需要導(dǎo)入concurrent.futures庫，這個(gè)庫就內(nèi)置在Python中：

 
 
 
 
    
  
  
  
  
  1. import concurrent.futures 
    2.

接著，我們需要告訴Python啟動(dòng)4個(gè)額外的Python實(shí)例。我們通過讓Python創(chuàng)建一個(gè)Process Pool來完成這一步：

 
 
 
 
    
  
  
  
  
  1. with concurrent.futures.ProcessPoolExecutor() as executor: 
    2.

默認(rèn)情況下，它會(huì)為你電腦上的每個(gè)CPU創(chuàng)建一個(gè)Python進(jìn)程，所以如果你有4個(gè)CPU，就會(huì)啟動(dòng)4個(gè)Python進(jìn)程。

***一步是讓創(chuàng)建的Process Pool用這4個(gè)進(jìn)程在數(shù)據(jù)列表上執(zhí)行我們的輔助函數(shù)。完成這一步，我們要將已有的for循環(huán)：

 
 
 
 
    
  
  
  
  
  1. for image_file in glob.glob("*.jpg"): 
    2.   
  
  
  
  2. thumbnail_file = make_image_thumbnail(image_file) 
    3.

替換為新的調(diào)用executor.map():

 
 
 
 
    
  
  
  
  
  1. image_files = glob.glob("*.jpg") 
    2.   
  
  
  
  2. for image_file, thumbnail_file in zip(image_files, executor.map(make_image_thumbnail, image_files)): 
    3.

該executor.map()函數(shù)調(diào)用時(shí)需要輸入輔助函數(shù)和待處理的數(shù)據(jù)列表。這個(gè)函數(shù)能幫我完成所有麻煩的工作，包括將列表分為多個(gè)子列表、將子列表發(fā)送到每個(gè)子進(jìn)程、運(yùn)行子進(jìn)程以及合并結(jié)果等。干得漂亮！

這也能為我們返回每個(gè)函數(shù)調(diào)用的結(jié)果。Executor.map()函數(shù)會(huì)按照和輸入數(shù)據(jù)相同的順序返回結(jié)果。所以我用了Python的zip()函數(shù)作為捷徑，一步獲取原始文件名和每一步中的匹配結(jié)果。

這里是經(jīng)過這三步改動(dòng)后的程序代碼：

 
 
 
 
    
  
  
  
  
  1. import glob 
    2.   
  
  
  
  2. import os 
    3.   
  
  
  
  3. from PIL import Image 
    4.   
  
  
  
  4. import concurrent.futures 
    5.   
  
  
  
  5.  
    6.   
  
  
  
  6.  
    7.   
  
  
  
  7. def make_image_thumbnail(filename): 
    8.   
  
  
  
  8.     # 縮略圖會(huì)被命名為 "_thumbnail.jpg" 
    9.   
  
  
  
  9.     base_filename, file_extension = os.path.splitext(filename) 
    10.   
  
  
  
  10.     thumbnail_filename = f"{base_filename}_thumbnail{file_extension}" 
    11.   
  
  
  
  11.  
    12.   
  
  
  
  12.     # 創(chuàng)建和保存縮略圖 
    13.   
  
  
  
  13.     image = Image.open(filename) 
    14.   
  
  
  
  14.     image.thumbnail(size=(128, 128)) 
    15.   
  
  
  
  15.     image.save(thumbnail_filename, "JPEG") 
    16.   
  
  
  
  16.  
    17.   
  
  
  
  17.     return thumbnail_filename 
    18.   
  
  
  
  18.  
    19.   
  
  
  
  19.  
    20.   
  
  
  
  20. # 創(chuàng)建Process Pool，默認(rèn)為電腦的每個(gè)CPU創(chuàng)建一個(gè) 
    21.   
  
  
  
  21. with concurrent.futures.ProcessPoolExecutor() as executor: 
    22.   
  
  
  
  22.     # 獲取需要處理的文件列表 
    23.   
  
  
  
  23.     image_files = glob.glob("*.jpg") 
    24.   
  
  
  
  24.  
    25.   
  
  
  
  25.     # 處理文件列表，但通過Process Pool劃分工作，使用全部CPU！ 
    26.   
  
  
  
  26.     for image_file, thumbnail_file in zip(image_files, executor.map(make_image_thumbnail, image_files)): 
    27.   
  
  
  
  27.         print(f"A thumbnail for {image_file} was saved as {thumbnail_file}") 
    28.

我們來運(yùn)行一下這段腳本，看看它是否以更快的速度完成數(shù)據(jù)處理：

 
 
 
 
    
  
  
  
  
  1. $ time python3 thumbnails_2.py 
    2.   
  
  
  
  2. A thumbnail for 1430028941_4db9dedd10.jpg was saved as 1430028941_4db9dedd10_thumbnail.jpg 
    3.   
  
  
  
  3. [... about 1000 more lines of output ...] 
    4.   
  
  
  
  4. real 0m2.274s 
    5.   
  
  
  
  5. user 0m8.959s 
    6.   
  
  
  
  6. sys 0m0.951s 
    7.

腳本在2.2秒就處理完了數(shù)據(jù)！比原來的版本提速4倍！之所以能更快的處理數(shù)據(jù)，是因?yàn)槲覀兪褂昧?個(gè)CPU而不是1個(gè)。

但是如果你仔細(xì)看看，會(huì)發(fā)現(xiàn)“用戶”時(shí)間幾乎為9秒。那為何程序處理時(shí)間為2.2秒，但不知怎么搞得運(yùn)行時(shí)間還是9秒？這似乎不太可能?。?/p>

這是因?yàn)椤坝脩簟睍r(shí)間是所有CPU時(shí)間的總和，我們最終完成工作的CPU時(shí)間總和一樣，都是9秒，但我們使用4個(gè)CPU完成的，實(shí)際處理數(shù)據(jù)時(shí)間只有2.2秒！

注意：啟用更多Python進(jìn)程以及給子進(jìn)程分配數(shù)據(jù)都會(huì)占用時(shí)間，因此靠這個(gè)方法并不能保證總是能大幅提高速度。如果你要處理非常大的數(shù)據(jù)集，這里有篇設(shè)置將數(shù)據(jù)集切分成多少小塊的 文章 ，可以讀讀，會(huì)對(duì)你幫助甚大.

這種方法總能幫我的數(shù)據(jù)處理腳本提速嗎？

如果你有一列數(shù)據(jù)，并且每個(gè)數(shù)據(jù)都能單獨(dú)處理時(shí)，使用我們這里所說的Process Pools是一個(gè)提速的好方法。下面是一些適合使用并行處理的例子：

  • 從一系列單獨(dú)的網(wǎng)頁服務(wù)器日志里抓取統(tǒng)計(jì)數(shù)據(jù)。
  • 從一堆XML，CSV和JSON文件中解析數(shù)據(jù)。
  • 對(duì)大量圖片數(shù)據(jù)做預(yù)處理，建立機(jī)器學(xué)習(xí)數(shù)據(jù)集。

但也要記住，Process Pools并不是***的。使用Process Pool需要在獨(dú)立的Python處理進(jìn)程之間來回傳遞數(shù)據(jù)。如果你要處理的數(shù)據(jù)不能在處理過程中被有效地傳遞，這種方法就行不通了。簡而言之，你處理的數(shù)據(jù)必須是Python知道怎么應(yīng)對(duì)的類型。

同時(shí)，也無法按照一個(gè)預(yù)想的順序處理數(shù)據(jù)。如果你需要前一步的處理結(jié)果來進(jìn)行下一步，這種方法也行不通。

那GIL的問題呢？

你可能知道Python有個(gè)叫全局解釋器鎖（Global Interpreter Lock）的東西，即GIL。這意味著即使你的程序是多線程的，每個(gè)線程也只能執(zhí)行一個(gè)Python指令。GIL確保任何時(shí)候都只有一個(gè)Python線程執(zhí)行。換句話說，多線程的Python代碼并不能真正地并行運(yùn)行，從而無法充分利用多核CPU。

但是Process Pool能解決這個(gè)問題！因?yàn)槲覀兪沁\(yùn)行單獨(dú)的Python實(shí)例，每個(gè)實(shí)例都有自己的GIL。這樣我們獲得是真正能并行處理的Python代碼！

不要害怕并行處理！

有了concurrent.futures庫，Python就能讓你簡簡單單地修改一下腳本后，立刻讓你電腦上所有CPU投入到工作中。不要害怕嘗試這種方法，一旦你掌握了，它就跟一個(gè)for循環(huán)一樣簡單，卻能讓你的數(shù)據(jù)處理腳本快到飛起。


分享文章：有輕功：用3行代碼讓Python數(shù)據(jù)處理腳本獲得4倍提速
文章轉(zhuǎn)載：http://m.5511xx.com/article/djcsdio.html