日韩无码专区无码一级三级片|91人人爱网站中日韩无码电影|厨房大战丰满熟妇|AV高清无码在线免费观看|另类AV日韩少妇熟女|中文日本大黄一级黄色片|色情在线视频免费|亚洲成人特黄a片|黄片wwwav色图欧美|欧亚乱色一区二区三区

RELATEED CONSULTING
相關(guān)咨詢
選擇下列產(chǎn)品馬上在線溝通
服務(wù)時間：8:30-17:00
你可能遇到了下面的問題
關(guān)閉右側(cè)工具欄

新聞中心

這里有您想知道的互聯(lián)網(wǎng)營銷解決方案
使用Python提供高性能計(jì)算服務(wù)

前言

成都創(chuàng)新互聯(lián)公司專注于陽高網(wǎng)站建設(shè)服務(wù)及定制，我們擁有豐富的企業(yè)做網(wǎng)站經(jīng)驗(yàn)。 熱誠為您提供陽高營銷型網(wǎng)站建設(shè)，陽高網(wǎng)站制作、陽高網(wǎng)頁設(shè)計(jì)、陽高網(wǎng)站官網(wǎng)定制、小程序開發(fā)服務(wù)，打造陽高網(wǎng)絡(luò)公司原創(chuàng)品牌,更為您提供陽高網(wǎng)站排名全網(wǎng)營銷落地服務(wù)。

python具有豐富的庫，并且很容易作為膠水語言很容易與c/c++進(jìn)行交互集成。

因此為了適應(yīng)快速變化的業(yè)務(wù)和兼顧計(jì)算效率，在上層采用python作為server提供service，在底層采用c/c++進(jìn)行計(jì)算是一種對于算法開發(fā)者非常適宜的方式。

python flask庫提供http接口以及相關(guān)demo頁面，gunicorn提供多核并行能力，底層c++庫提供單線程上的計(jì)算。

下面通過一個例子說明這種架構(gòu)。代碼地址：python_hps

準(zhǔn)備

在實(shí)驗(yàn)開始之前，需要安裝flask、gunicorn、apach bench tool等工具。

注：所有實(shí)驗(yàn)均在linux系統(tǒng)中進(jìn)行。測試機(jī)器為4核虛擬機(jī)。

 
 
 
 
    
  
  
  
  
  1. sudo pip install flask 
    2. 
  
  
  
  
  2. sudo pip install gunicorn 
    3. 
  
  
  
  
  3. sudo apt-get install apache2-utils 
    4.

計(jì)算

計(jì)算部分模擬真實(shí)計(jì)算，因此計(jì)算量比較大，在我測試的虛擬機(jī)上單核單線程跑400ms左右。

c++核心計(jì)算部分，隨便寫的：

 
 
 
 
    
  
  
  
  
  1. API_DESC int foo(const int val) 
    2. 
  
  
  
  
  2. { 
    3. 
  
  
  
  
  3.     float result = 0.0f; 
    4. 
  
  
  
  
  4.     for(int c=0;c<1000;c++) 
    5. 
  
  
  
  
  5.     { 
    6. 
  
  
  
  
  6.         for(int i=0;i
  
  
  
  
  7.         { 
    8. 
  
  
  
  
  8.             result += (i); 
    9. 
  
  
  
  
  9.             result += sqrt((float)(i*i)); 
    10. 
  
  
  
  
  10.             result += pow((float)(i*i*i),0.1f); 
    11. 
  
  
  
  
  11.         } 
    12. 
  
  
  
  
  12.     } 
    13. 
  
  
  
  
  13.     return (int)result; 
    14. 
  
  
  
  
  14. } 
    15.

python wrapper，采用ctypes：

 
 
 
 
    
  
  
  
  
  1. #python wrapper of libfoo 
    2. 
  
  
  
  
  2. class FooWrapper: 
    3. 
  
  
  
  
  3.     def __init__(self): 
    4. 
  
  
  
  
  4.         cur_path = os.path.abspath(os.path.dirname(__file__)) 
    5. 
  
  
  
  
  5.         self.module = ctypes.CDLL(os.path.join(cur_path,'./impl/libfoo.so')) 
    6. 
  
  
  
  
  6.     def foo(self,val):     
    7. 
  
  
  
  
  7.         self.module.foo.argtypes = (ctypes.c_int,) 
    8. 
  
  
  
  
  8.         self.module.foo.restype = ctypes.c_int 
    9. 
  
  
  
  
  9.         result = self.module.foo(val) 
    10. 
  
  
  
  
  10.         return result 
    11.

flask http API：

 
 
 
 
    
  
  
  
  
  1. @app.route('/api/foo',methods=['GET','POST']) 
    2. 
  
  
  
  
  2. def handle_api_foo(): 
    3. 
  
  
  
  
  3.     #get input 
    4. 
  
  
  
  
  4.     val = flask.request.json['val'] 
    5. 
  
  
  
  
  5.     logging.info('[handle_api_foo] val: %d' % (val)) 
    6. 
  
  
  
  
  6.     #do calc 
    7. 
  
  
  
  
  7.     result = fooWrapper.foo(val) 
    8. 
  
  
  
  
  8.     logging.info('[handle_api_foo] result: %d' % (result)) 
    9. 
  
  
  
  
  9.     result = json.dumps({'result':result}) 
    10. 
  
  
  
  
  10.     return result 
    11.

單核服務(wù)

首先測試python單核服務(wù)，同時也是單線程服務(wù)(由于python GIL的存在，python多線程對于計(jì)算密集型任務(wù)幾乎起反作用)。

  • 啟動服務(wù)

在script目錄下執(zhí)行run_single.sh，即

 
 
 
 
    
  
  
  
  
  1. #!/bin/sh 
    2. 
  
  
  
  
  2. #python 
    3. 
  
  
  
  
  3. export PYTHONIOENCODING=utf-8 
    4. 
  
  
  
  
  4. #start server 
    5. 
  
  
  
  
  5. cd `pwd`/.. 
    6. 
  
  
  
  
  6. echo "run single pocess server" 
    7. 
  
  
  
  
  7. python server.py 
    8. 
  
  
  
  
  8. cd - 
    9. 
  
  
  
  
  9. echo "server is started." 
    10.
  • 測試服務(wù)

另外打開一個終端，執(zhí)行script目錄下的bench.sh，即

 
 
 
 
    
  
  
  
  
  1. #!/bin/sh 
    2. 
  
  
  
  
  2. ab -T 'application/json' -p post.data -n 100 -c 10 http://127.0.0.1:4096/api/foo 
    3.
  • 測試結(jié)果

CPU運(yùn)轉(zhuǎn)

ab測試結(jié)果

可以看出CPU只用了1個核，負(fù)載是2.44 request/second。

多核

  • 啟動服務(wù)

在script目錄下執(zhí)行run_parallel.sh，即

 
 
 
 
    
  
  
  
  
  1. #!/bin/sh 
    2. 
  
  
  
  
  2. #python 
    3. 
  
  
  
  
  3. export PYTHONIOENCODING=utf-8 
    4. 
  
  
  
  
  4. #start server 
    5. 
  
  
  
  
  5. cd `pwd`/.. 
    6. 
  
  
  
  
  6. echo "run parallel pocess server" 
    7. 
  
  
  
  
  7. gunicorn -c gun.conf server:app 
    8. 
  
  
  
  
  8. cd - 
    9. 
  
  
  
  
  9. echo "server is started." 
    10.

其中g(shù)un.conf是一個python腳本，配置了gunicorn的一些參數(shù)，如下：

 
 
 
 
    
  
  
  
  
  1. import multiprocessing 
    2. 
  
  
  
  
  2. bind = '0.0.0.0:4096' 
    3. 
  
  
  
  
  3. workers = max(multiprocessing.cpu_count()*2+1,1) 
    4. 
  
  
  
  
  4. backlog = 2048 
    5. 
  
  
  
  
  5. worker_class = "sync" 
    6. 
  
  
  
  
  6. debug = False 
    7. 
  
  
  
  
  7. proc_name = 'foo_server' 
    8.
  • 測試服務(wù)

另外打開一個終端，執(zhí)行script目錄下的bench.sh，即

 
 
 
 
    
  
  
  
  
  1. #!/bin/sh 
    2. 
  
  
  
  
  2. ab -T 'application/json' -p post.data -n 100 -c 10 http://127.0.0.1:4096/api/foo 
    3.
  • 測試結(jié)果

CPU運(yùn)轉(zhuǎn)

ab測試結(jié)果

可以看出CPU用滿了4個核，負(fù)載是8.56 request/second。是單核的3.5倍左右，可以任務(wù)基本達(dá)成多核有效利用的的目的。

總結(jié)

使用flask、gunicorn基本可以搭建一個用于調(diào)試或者不苛責(zé)過多性能的服務(wù)，用于算法服務(wù)提供非常方便。本文提供該方案的一個簡單示例，實(shí)際業(yè)務(wù)中可基于此進(jìn)行修改完善。


網(wǎng)頁名稱：使用Python提供高性能計(jì)算服務(wù)
文章鏈接：http://m.5511xx.com/article/coejisg.html