建站
咨詢
售后
建站咨詢
新聞中心
作者｜盧佳瑜，單位：中移物聯(lián)網(wǎng)有限公司
在涪城等地區(qū)，都構(gòu)建了全面的區(qū)域性戰(zhàn)略布局，加強發(fā)展的系統(tǒng)性、市場前瞻性、產(chǎn)品創(chuàng)新能力，以專注、極致的服務(wù)理念，為客戶提供網(wǎng)站制作、成都網(wǎng)站建設(shè) 網(wǎng)站設(shè)計制作按需網(wǎng)站設(shè)計,公司網(wǎng)站建設(shè),企業(yè)網(wǎng)站建設(shè),成都品牌網(wǎng)站建設(shè),全網(wǎng)整合營銷推廣,外貿(mào)網(wǎng)站建設(shè),涪城網(wǎng)站建設(shè)費用合理。
Labs 導(dǎo)讀
云原生時代，應(yīng)用對硬件資源的需求增長巨大，但單核CPU性能的提升存在瓶頸，摩爾定律已經(jīng)失效。性能的提升更多側(cè)重于使用多核并發(fā)，而不是依賴單核性能。
俗話說再強的個人也敵不過訓(xùn)練有素的團隊，便是這個道理。
但即便是對多核的利用，也分為多進程、多線程等不同的方案， 我們經(jīng)常會聽到老手說：“python下多線程是雞肋，推薦使用多進程！”
為什么這么說呢？
要知其然，更要知其所以然。所以有了下面的深入研究。
Part 01 概述
目前算力網(wǎng)絡(luò)發(fā)展中，經(jīng)常出現(xiàn)并行計算的需求，而在python中，如果你使用多線程進行并行，那么就會面臨一個尷尬的問題：一核干活，其它圍觀。為什么會出現(xiàn)這樣一個尷尬的問題呢？是因為python中GIL鎖的存在。
GIL是什么？
GIL的全稱是Global Interpreter Lock(全局解釋器鎖)，來源是python設(shè)計之初的考慮，為了數(shù)據(jù)安全所做的決定，每個進程單獨擁有一把GIL鎖。
進程是什么？
進程是程序的一次執(zhí)行過程，是一個動態(tài)概念，是程序在執(zhí)行過程中分配和管理資源的基本單位，
線程是什么？
線程是CPU調(diào)度和分派的基本單位，它可與同屬一個進程的其他的線程共享進程所擁有的全部資源。
進程與線程的關(guān)系？
線程是進程的一部分，一個線程只能屬于一個進程，而一個進程可以有多個線程，但至少有一個線程。
為什么用多進程和多線程？
現(xiàn)代CPU通常是多核CPU，如果業(yè)務(wù)代碼是單進程/單線程，那么在運行時實際上就只能使用一個CPU核心，其他核心只能浪費，為了提升代碼運行效率，我們使用多進程or多線程，對多個CPU核心進行充分利用，以提升代碼執(zhí)行效率。
Part 02 執(zhí)行原理
每個CPU核心在同一時間只能執(zhí)行一個線程（在單核CPU下的多線程其實都只是并發(fā)，不是并行，并發(fā)和并行從宏觀上來講都是同時處理多路請求的概念。但并發(fā)和并行又有區(qū)別，并行是指兩個或者多個事件在同一時刻發(fā)生；而并發(fā)是指兩個或多個事件在同一時間間隔內(nèi)發(fā)生。）
在Python多線程下，每個線程的執(zhí)行方式：
- 獲取GIL
- 執(zhí)行代碼直到sleep或者是python虛擬機將其掛起。
- 釋放GIL
可見，某個線程想要執(zhí)行，必須先拿到GIL，我們可以把GIL看作是“通行證”，并且在一個python進程中，GIL只有一個。拿不到通行證的線程，就不允許進入CPU執(zhí)行。
在python2.x里，GIL的釋放邏輯是當(dāng)前線程遇見IO操作或者ticks計數(shù)達(dá)到100（ticks可以看作是python自身的一個計數(shù)器，專門做用于GIL，每次釋放后歸零，這個計數(shù)可以通過 sys.setcheckinterval 來調(diào)整），進行釋放。
而每次釋放GIL鎖，線程進行鎖競爭、切換線程，會消耗資源。并且由于GIL鎖存在，python里一個進程永遠(yuǎn)只能同時執(zhí)行一個線程(拿到GIL的線程才能執(zhí)行)，這就是為什么在多核CPU上，python的多線程效率并不高。
Part 03 實際場景分析
在實際應(yīng)用場景中，并不是所有業(yè)務(wù)都能將CPU跑滿，也就并不是所有業(yè)務(wù)都需要使用多進程，接下來我們分類進行討論：
1、CPU密集型業(yè)務(wù)(各種循環(huán)處理、計數(shù)、數(shù)學(xué)計算等)，在這種情況下，ticks計數(shù)很快就會達(dá)到閾值，然后觸發(fā)GIL的釋放與再競爭（多個線程來回切換當(dāng)然是需要消耗資源的），所以python下的多線程對CPU密集型代碼并不友好。
2、IO密集型業(yè)務(wù)(文件處理、網(wǎng)絡(luò)爬蟲等)，多線程能夠有效提升效率（單線程下有IO操作會進行IO等待，造成不必要的時間浪費，而開啟多線程能在線程A等待時，自動切換到線程B，可以不浪費CPU的資源，從而能提升程序執(zhí)行效率）。所以python的多線程對IO密集型代碼比較友好。
而在python3.x中，GIL不使用ticks計數(shù)，改為使用計時器（執(zhí)行時間達(dá)到閾值后，當(dāng)前線程釋放GIL），這樣對CPU密集型程序更加友好，但依然沒有解決GIL導(dǎo)致的同一時間只能執(zhí)行一個線程的問題，所以效率依然不盡如人意。
Part 04 總結(jié)
回到最開始的問題：經(jīng)常我們會聽到老手說：“python下想要充分利用多核CPU，就用多進程”，原因是什么呢？
原因是每個進程有各自獨立的GIL，互不干擾，這樣就可以真正意義上的并行執(zhí)行，所以在python中，多進程的執(zhí)行效率優(yōu)于多線程(僅僅針對多核CPU而言)。
所以我們能夠得出結(jié)論：多核下，想做并行提升效率，比較通用的方法是使用多進程，能夠有效提高執(zhí)行效率。?
新聞標(biāo)題：提升CPU算力，在Python中使用多進程模型
網(wǎng)站地址：http://m.5511xx.com/article/cdocggh.html
