日韩无码专区无码一级三级片|91人人爱网站中日韩无码电影|厨房大战丰满熟妇|AV高清无码在线免费观看|另类AV日韩少妇熟女|中文日本大黄一级黄色片|色情在线视频免费|亚洲成人特黄a片|黄片wwwav色图欧美|欧亚乱色一区二区三区

雖然并非你編寫的每個(gè) Python 程序都要求一個(gè)嚴(yán)格的性能分析，但是讓人放心的是，當(dāng)問(wèn)題發(fā)生的時(shí)候，Python 生態(tài)圈有各種各樣的工具可以處理這類問(wèn)題。

創(chuàng)新互聯(lián)公司是專業(yè)的利津網(wǎng)站建設(shè)公司，利津接單;提供成都網(wǎng)站制作、網(wǎng)站建設(shè)、外貿(mào)網(wǎng)站建設(shè),網(wǎng)頁(yè)設(shè)計(jì),網(wǎng)站設(shè)計(jì),建網(wǎng)站,PHP網(wǎng)站建設(shè)等專業(yè)做網(wǎng)站服務(wù);采用PHP框架,可快速的進(jìn)行利津網(wǎng)站開發(fā)網(wǎng)頁(yè)制作和功能擴(kuò)展;專業(yè)做搜索引擎喜愛的網(wǎng)站,專業(yè)的做網(wǎng)站團(tuán)隊(duì),希望更多企業(yè)前來(lái)合作!

分析程序的性能可以歸結(jié)為回答四個(gè)基本問(wèn)題：

1. 正運(yùn)行的多快
2. 速度瓶頸在哪里
3. 內(nèi)存使用率是多少
4. 內(nèi)存泄露在哪里

下面，我們將用一些神奇的工具深入到這些問(wèn)題的答案中去。

用 time 粗粒度的計(jì)算時(shí)間

讓我們開始通過(guò)使用一個(gè)快速和粗暴的方法計(jì)算我們的代碼:傳統(tǒng)的 unix time 工具。

 
 

  
  
 $ time python yourprogram.py 
  
  
real    0m1.028s
  
  
user    0m0.001s
  
  
sys     0m0.003s
 
 

三個(gè)輸出測(cè)量值之間的詳細(xì)意義在這里 stackoverflow article，但簡(jiǎn)介在這：

• real -- 指的是實(shí)際耗時(shí)
• user -- 指的是內(nèi)核之外的 CPU 耗時(shí)
• sys -- 指的是花費(fèi)在內(nèi)核特定函數(shù)的 CPU 耗時(shí)

你會(huì)有你的應(yīng)用程序用完了多少 CPU 周期的即視感，不管系統(tǒng)上其他運(yùn)行的程序添加的系統(tǒng)和用戶時(shí)間。

如果 sys 和 user 時(shí)間之和小于 real 時(shí)間，然后你可以猜測(cè)到大多數(shù)程序的性能問(wèn)題最有可能與 IO wait 相關(guān)。

用 timing context 管理器細(xì)粒度的計(jì)算時(shí)間

我們下一步的技術(shù)包括直接嵌入代碼來(lái)獲取細(xì)粒度的計(jì)時(shí)信息。下面是我進(jìn)行時(shí)間測(cè)量的代碼的一個(gè)小片段

timer.py

 
 

  
  
import time 
  
  

  
  
class Timer(object): 
  
  
    def __init__(self, verbose=False): 
  
  
        self.verbose = verbose 
  
  

  
  
    def __enter__(self): 
  
  
        self.start = time.time() 
  
  
        return self
  
  

  
  
    def __exit__(self, *args): 
  
  
        self.end = time.time() 
  
  
        self.secs = self.end - self.start 
  
  
        self.msecs = self.secs * 1000  # millisecs 
  
  
        if self.verbose: 
  
  
            print 'elapsed time: %f ms' % self.msecs
 
 

為了使用它，使用 Python 的 with 關(guān)鍵字和 Timer 上下文管理器來(lái)包裝你想計(jì)算的代碼。當(dāng)您的代碼塊開始執(zhí)行，它將照顧啟動(dòng)計(jì)時(shí)器,當(dāng)你的代碼塊結(jié)束的時(shí)候，它將停止計(jì)時(shí)器。

這個(gè)代碼片段示例：

 
 

  
  
from timer import Timer 
  
  
from redis import Redis 
  
  
rdb = Redis() 
  
  

  
  
with Timer() as t: 
  
  
    rdb.lpush("foo", "bar") 
  
  
print "=> elasped lpush: %s s" % t.secs 
  
  

  
  
with Timer() as t: 
  
  
    rdb.lpop("foo") 
  
  
print "=> elasped lpop: %s s" % t.secs
 
 

為了看看我的程序的性能隨著時(shí)間的演化的趨勢(shì)，我常常記錄這些定時(shí)器的輸出到一個(gè)文件中。

使用 profiler 逐行計(jì)時(shí)和分析執(zhí)行的頻率

羅伯特·克恩有一個(gè)不錯(cuò)的項(xiàng)目稱為 line_profiler , 我經(jīng)常使用它來(lái)分析我的腳本有多快，以及每行代碼執(zhí)行的頻率：

為了使用它，你可以通過(guò)使用 pip 來(lái)安裝它：

 
 

  
  
pip install line_profiler 
 
 

安裝完成后，你將獲得一個(gè)新模塊稱為 line_profiler 和 kernprof.py 可執(zhí)行腳本。

為了使用這個(gè)工具，首先在你想測(cè)量的函數(shù)上設(shè)置 @profile 修飾符。不用擔(dān)心，為了這個(gè)修飾符，你不需要引入任何東西。kernprof.py 腳本會(huì)在運(yùn)行時(shí)自動(dòng)注入你的腳本。

primes.py

 
 

  
  
@profile
  
  
def primes(n):  
  
  
    if n==2: 
  
  
        return [2] 
  
  
    elif n<2: 
  
  
        return [] 
  
  
    s=range(3,n+1,2) 
  
  
    mroot = n ** 0.5
  
  
    half=(n+1)/2-1
  
  
    i=0
  
  
    m=3
  
  
    while m <= mroot: 
  
  
        if s[i]: 
  
  
            j=(m*m-3)/2
  
  
            s[j]=0
  
  
            while j
  
  
                s[j]=0
  
  
                j+=m 
  
  
        i=i+1
  
  
        m=2*i+3
  
  
    return [2]+[x for x in s if x] 
  
  
primes(100)
 
 

一旦你得到了你的設(shè)置了修飾符 @profile 的代碼，使用 kernprof.py 運(yùn)行這個(gè)腳本。

 
 

  
  
kernprof.py -l -v fib.py
 
 

-l 選項(xiàng)告訴 kernprof 把修飾符 @profile 注入你的腳本，-v 選項(xiàng)告訴 kernprof 一旦你的腳本完成后，展示計(jì)時(shí)信息。這是一個(gè)以上腳本的類似輸出：

 
 

  
  
Wrote profile results to primes.py.lprof 
  
  
Timer unit: 1e-06 s 
  
  

  
  
File: primes.py 
  
  
Function: primes at line 2
  
  
Total time: 0.00019 s 
  
  

  
  
Line #      Hits         Time  Per Hit   % Time  Line Contents 
  
  
============================================================== 
  
  
     2                                           @profile 
  
  
     3                                           def primes(n):  
  
  
     4         1            2      2.0      1.1      if n==2: 
  
  
     5                                                   return [2] 
  
  
     6         1            1      1.0      0.5      elif n<2: 
  
  
     7                                                   return [] 
  
  
     8         1            4      4.0      2.1      s=range(3,n+1,2) 
  
  
     9         1           10     10.0      5.3      mroot = n ** 0.5
  
  
    10         1            2      2.0      1.1      half=(n+1)/2-1
  
  
    11         1            1      1.0      0.5      i=0
  
  
    12         1            1      1.0      0.5      m=3
  
  
    13         5            7      1.4      3.7      while m <= mroot: 
  
  
    14         4            4      1.0      2.1          if s[i]: 
  
  
    15         3            4      1.3      2.1              j=(m*m-3)/2
  
  
    16         3            4      1.3      2.1              s[j]=0
  
  
    17        31           31      1.0     16.3              while j
  
  
    18        28           28      1.0     14.7                  s[j]=0
  
  
    19        28           29      1.0     15.3                  j+=m 
  
  
    20         4            4      1.0      2.1          i=i+1
  
  
    21         4            4      1.0      2.1          m=2*i+3
  
  
    22        50           54      1.1     28.4      return [2]+[x for x 
 
 

尋找 hits 值比較高的行或是一個(gè)高時(shí)間間隔。這些地方有最大的優(yōu)化改進(jìn)空間。

它使用了多少內(nèi)存？

現(xiàn)在我們掌握了很好我們代碼的計(jì)時(shí)信息，讓我們繼續(xù)找出我們的程序使用了多少內(nèi)存。我們真是非常幸運(yùn)， Fabian Pedregosa 仿照 Robert Kern 的 line_profiler 實(shí)現(xiàn)了一個(gè)很好的內(nèi)存分析器 [memory profiler][5]。

首先通過(guò) pip 安裝它：

 
 

  
  
$ pip install -U memory_profiler 
  
  
$ pip install psutil 
 
 

在這里建議安裝 psutil 是因?yàn)樵摪芴嵘?memory_profiler 的性能。

想 line_profiler 一樣， memory_profiler 要求在你設(shè)置 @profile 來(lái)修飾你的函數(shù)：

 
 

  
  
@profile
  
  
def primes(n):  
  
  
    ... 
  
  
    ... 
 
 

運(yùn)行如下命令來(lái)顯示你的函數(shù)使用了多少內(nèi)存：

 
 

  
  
$ python -m memory_profiler primes.py 
 
 

一旦你的程序退出，你應(yīng)該可以看到這樣的輸出：

 
 

  
  
Filename: primes.py 
  
  

  
  
Line #    Mem usage  Increment   Line Contents 
  
  
============================================== 
  
  
     2                           @profile 
  
  
     3    7.9219 MB  0.0000 MB   def primes(n):  
  
  
     4    7.9219 MB  0.0000 MB       if n==2: 
  
  
     5                                   return [2] 
  
  
     6    7.9219 MB  0.0000 MB       elif n<2: 
  
  
     7                                   return [] 
  
  
     8    7.9219 MB  0.0000 MB       s=range(3,n+1,2) 
  
  
     9    7.9258 MB  0.0039 MB       mroot = n ** 0.5
  
  
    10    7.9258 MB  0.0000 MB       half=(n+1)/2-1
  
  
    11    7.9258 MB  0.0000 MB       i=0
  
  
    12    7.9258 MB  0.0000 MB       m=3
  
  
    13    7.9297 MB  0.0039 MB       while m <= mroot: 
  
  
    14    7.9297 MB  0.0000 MB           if s[i]: 
  
  
    15    7.9297 MB  0.0000 MB               j=(m*m-3)/2
  
  
    16    7.9258 MB -0.0039 MB               s[j]=0
  
  
    17    7.9297 MB  0.0039 MB               while j
  
  
    18    7.9297 MB  0.0000 MB                   s[j]=0
  
  
    19    7.9297 MB  0.0000 MB                   j+=m 
  
  
    20    7.9297 MB  0.0000 MB           i=i+1
  
  
    21    7.9297 MB  0.0000 MB           m=2*i+3
  
  
    22    7.9297 MB  0.0000 MB       return [2]+[x for x in s if x] 
  
  

 
 

line_profiler 和 memory_profiler 的 IPython 快捷命令

line_profiler 和 memory_profiler 一個(gè)鮮為人知的特性就是在 IPython 上都有快捷命令。你所能做的就是在 IPython 上鍵入以下命令：

 
 

  
  
%load_ext memory_profiler 
  
  
%load_ext line_profiler 
 
 

這樣做了以后，你就可以使用魔法命令 %lprun 和 %mprun 了，它們表現(xiàn)的像它們命令行的副本，最主要的不同就是你不需要給你需要分析的函數(shù)設(shè)置 @profile 修飾符。直接在你的 IPython 會(huì)話上繼續(xù)分析吧。

 
 

  
  
In [1]: from primes import primes 
  
  
In [2]: %mprun -f primes primes(1000) 
  
  
In [3]: %lprun -f primes primes(1000) 
 
 

這可以節(jié)省你大量的時(shí)間和精力,因?yàn)槭褂眠@些分析命令，你不需要修改你的源代碼。

#p#

哪里內(nèi)存溢出了？

cPython的解釋器使用引用計(jì)數(shù)來(lái)作為它跟蹤內(nèi)存的主要方法。這意味著每個(gè)對(duì)象持有一個(gè)計(jì)數(shù)器，當(dāng)增加某個(gè)對(duì)象的引用存儲(chǔ)的時(shí)候，計(jì)數(shù)器就會(huì)增加，當(dāng)一個(gè)引用被刪除的時(shí)候，計(jì)數(shù)器就是減少。當(dāng)計(jì)數(shù)器達(dá)到0， cPython 解釋器就知道該對(duì)象不再使用，因此解釋器將刪除這個(gè)對(duì)象，并且釋放該對(duì)象持有的內(nèi)存。

內(nèi)存泄漏往往發(fā)生在即使該對(duì)象不再使用的時(shí)候，你的程序還持有對(duì)該對(duì)象的引用。

最快速發(fā)現(xiàn)內(nèi)存泄漏的方式就是使用一個(gè)由 Marius Gedminas 編寫的非常好的稱為 [objgraph][6] 的工具。
這個(gè)工具可以讓你看到在內(nèi)存中對(duì)象的數(shù)量,也定位在代碼中所有不同的地方,對(duì)這些對(duì)象的引用。

開始，我們首先安裝 objgraph

 
 

  
  
pip install objgraph 
 
 

一旦你安裝了這個(gè)工具，在你的代碼中插入一個(gè)調(diào)用調(diào)試器的聲明。

 
 

  
  
import pdb; pdb.set_trace() 
 
 

哪個(gè)對(duì)象最常見

在運(yùn)行時(shí),你可以檢查在運(yùn)行在你的程序中的前20名最普遍的對(duì)象

 
 

  
  
pdb) import objgraph 
  
  
(pdb) objgraph.show_most_common_types() 
  
  

  
  
MyBigFatObject             20000
  
  
tuple                      16938
  
  
function                   4310
  
  
dict                       2790
  
  
wrapper_descriptor         1181
  
  
builtin_function_or_method 934
  
  
weakref                    764
  
  
list                       634
  
  
method_descriptor          507
  
  
getset_descriptor          451
  
  
type                       439
 
 

哪個(gè)對(duì)象被增加或是刪除了？

我們能在兩個(gè)時(shí)間點(diǎn)之間看到哪些對(duì)象被增加或是刪除了。

 
 

  
  
(pdb) import objgraph 
  
  
(pdb) objgraph.show_growth() 
  
  
. 
  
  
. 
  
  
. 
  
  
(pdb) objgraph.show_growth()   # this only shows objects that has been added or deleted since last show_growth() call 
  
  

  
  
traceback                4        +2
  
  
KeyboardInterrupt        1        +1
  
  
frame                   24        +1
  
  
list                   667        +1
  
  
tuple                16969        +1
 
 

這個(gè)泄漏對(duì)象的引用是什么？

繼續(xù)下去，我們還可以看到任何給定對(duì)象的引用在什么地方。讓我們以下面這個(gè)簡(jiǎn)單的程序舉個(gè)例子。

 
 

  
  
x = [1] 
  
  
y = [x, [x], {"a":x}] 
  
  
import pdb; pdb.set_trace() 
 
 

為了看到持有變量 X 的引用是什么，運(yùn)行 objgraph.show_backref() 函數(shù)：

 
 

  
  
(pdb) import objgraph 
  
  
(pdb) objgraph.show_backref([x], filename="/tmp/backrefs.png") 
 
 

該命令的輸出是一個(gè) PNG 圖片，被存儲(chǔ)在 /tmp/backrefs.png，它應(yīng)該看起來(lái)像這樣：

盒子底部有紅色字體就是我們感興趣的對(duì)象，我們可以看到它被符號(hào) x 引用了一次，被列表 y 引用了三次。如果 x 這個(gè)對(duì)象引起了內(nèi)存泄漏，我們可以使用這種方法來(lái)追蹤它的所有引用，以便看到為什么它沒(méi)有被自動(dòng)被收回。

回顧一遍，objgraph 允許我們：

• 顯示占用 Python 程序內(nèi)存的前 N 個(gè)對(duì)象
• 顯示在一段時(shí)期內(nèi)哪些對(duì)象被增加了，哪些對(duì)象被刪除了
• 顯示我們腳本中獲得的所有引用

Effort vs precision

在這篇文章中,我展示了如何使用一些工具來(lái)分析一個(gè)python程序的性能。通過(guò)這些工具和技術(shù)的武裝，你應(yīng)該可以獲取所有要求追蹤大多數(shù)內(nèi)存泄漏以及在Python程序快速識(shí)別瓶頸的信息。

和許多其他主題一樣,運(yùn)行性能分析意味著要在付出和精度之間的平衡做取舍。當(dāng)有疑問(wèn)是，用最簡(jiǎn)單的方案，滿足你當(dāng)前的需求。

英文原文：A guide to analyzing Python performance

譯文鏈接：http://blog.segmentfault.com/yexiaobai/1190000000616798

文章標(biāo)題：Python性能分析入門指南
文章起源：http://m.5511xx.com/article/codsdpg.html