建站
咨詢
售后
建站咨詢
新聞中心
Go 1.4Beta1剛剛發(fā)布，在Go 1.4Beta1中，Go語言的stack處理方式由之前的"segmented stacks"改為了"continuous stacks"。關(guān)于Go語言對stack的處理機制、發(fā)展歷史、存在問題等，CloudFlare的一篇官方blog進行了系統(tǒng)的闡述，這里的內(nèi)容就是 翻譯自CloudFlare的那篇blog：《How Stacks are Handled in Go》。
公司主營業(yè)務：網(wǎng)站制作、成都網(wǎng)站制作、移動網(wǎng)站開發(fā)等業(yè)務。幫助企業(yè)客戶真正實現(xiàn)互聯(lián)網(wǎng)宣傳，提高企業(yè)的競爭能力。成都創(chuàng)新互聯(lián)是一支青春激揚、勤奮敬業(yè)、活力青春激揚、勤奮敬業(yè)、活力澎湃、和諧高效的團隊。公司秉承以“開放、自由、嚴謹、自律”為核心的企業(yè)文化，感謝他們對我們的高要求，感謝他們從不同領(lǐng)域給我們帶來的挑戰(zhàn)，讓我們激情的團隊有機會用頭腦與智慧不斷的給客戶帶來驚喜。成都創(chuàng)新互聯(lián)推出靜海免費做網(wǎng)站回饋大家。
在CloudFlare，我們使用Go語言實現(xiàn)各種服務和應用。在這篇博文中，我們將帶領(lǐng)大家深入挖掘一些Go的某些紛繁復雜的技術(shù)細節(jié)。
Go語言的重要特性之一是goroutines。它們是代價低廉、協(xié)同調(diào)度的執(zhí)行線程，被用于實現(xiàn)各種操作，諸如timeout、生成器、相互競 爭的后端程序。為了使goroutines可以適應更多地任務，我們不僅需要保證每個goroutines的內(nèi)存最小占用量，還要保證人們可以使 用***配置將它們啟動起來。
為了實現(xiàn)這個目標，Go語言采用了棧管理，這一與其他編程語言類似的方案，但在具體實現(xiàn)層面，又與其他語言有著較大的不同。
一、線程棧(thread stacks)介紹
在我們研究Go的棧處理方式之前，我們先來看看傳統(tǒng)語言，比如C是如何進行棧管理的。
當你啟動一個C實現(xiàn)的thread時，C標準庫會負責分配一塊內(nèi)存作為這個線程的棧。標準庫分配這塊內(nèi)存，告訴內(nèi)核它的位置并讓內(nèi)核處理這個線程 的執(zhí)行。不過當這塊內(nèi)存不夠用時，問題就來了，我們來看一下下面這個函數(shù)：
- int a(int m, int n) {
- if (m == 0) {
- return n + 1;
- } else if (m > 0 && n == 0) {
- return a(m – 1, 1);
- } else {
- return a(m – 1, a(m, n – 1));
- }
- }
這個函數(shù)大量使用遞歸，執(zhí)行a(4, 5)就會降所有棧內(nèi)存耗盡。要解決這個問題，你可以調(diào)整標準庫給線程棧分配的內(nèi)存塊的大小。但是全線提高棧大小意味著每個線程都會提高棧的內(nèi)存使用量，即 便它們不是大量采用遞歸方式的。這樣一來，你將用光所有內(nèi)存，即便你的程序還尚未使用棧上的內(nèi)存。
另外一種可選的解決方法則是為每個線程單獨確定棧大小。這樣一來你就不得不完成這樣的任務：根據(jù)每個線程的需要，估算它們的棧內(nèi)存的大小。這將是 創(chuàng)建線程的難度超出我們的期望。想搞清楚一般情況下一個線程棧需要多少內(nèi)存是不可行的，即便是通常情況也是非常困難的。
二、Go是如何應對這個問題的
Go運行時會試圖按需為goroutine提供它們所需要的?？臻g，而不是為每個goroutine分配一個固定大小的?？臻g。這樣可以把程序員 們從決定?？臻g大小的煩心事中解脫了出來。不過Go核心團隊正在嘗試切換到另外一種方案，這里我將嘗試闡述舊方案以及它的缺點，新方案以及為何要 做出如此改變。
三、分段棧(Segmented Stacks)
分段棧(segmented stacks)是Go語言最初用來處理棧的方案。當創(chuàng)建一個goroutine時，Go運行時會分配一段8K字節(jié)的內(nèi)存用于棧供goroutine運行使 用，我們讓goroutine在這個棧上完成其任務處理。
當我們用光這8K字節(jié)的?？臻g后，問題隨之而來。為了解決這個問題，每個go函數(shù)在函數(shù)入口處都會有一小段代碼(called prologue)，這段代碼會檢查是否用光了已分配的?？臻g，如果用光了，這段代碼會調(diào)用morestack函數(shù)。
morestack函數(shù)會分配一段新內(nèi)存用作棧空間，接下來它會將有關(guān)棧的各種數(shù)據(jù)信息寫入棧底的一個struct中(譯注：下圖中Stack info)，包括上一段棧的地址。有點我們擁有了一個新的棧段(stack segment)，我們將重啟goroutine，從導致?？臻g用光的那個函數(shù)（譯注：下圖中的Foobar）開始執(zhí)行。這就是所謂的“棧分裂 (stack split)”。
下面的棧示意圖剛好是我們進行棧分裂后的情形：
在新棧的底部，我們插入了一個棧入口函數(shù)lessstack。我們不會調(diào)用該函數(shù)，設(shè)置這個函數(shù)就是用于我們從那個導致我們用光?？臻g的函數(shù)(譯 注：Foobar)返回時用的。當那個函數(shù)(譯注：Foobar)返回時，我們回到lessstack（這個棧幀），lessstack會查找 stack底部的那個struct，并調(diào)整棧指針(stack pointer)，使得我們返回到前一段棧空間。這樣做之后，我們就可以將這個新棧段(stack segment)釋放掉，并繼續(xù)執(zhí)行我們的程序了。
四、分段棧(Segmented stacks)的問題
分段棧給了我們具備按需伸縮能力的棧。程序員們無需擔心計算棧的大小了，啟動一個新的goroutine代價低廉并且程序員不會知道棧將增長多 大。
這就是直到目前Go語言處理stack增長的方法，但是這個方法有個瑕疵。那就是?？s小會是一個相對代價高昂的操作。如果你在一個循環(huán)遇到棧分裂 (stack split)，你會最有感觸。一個函數(shù)會增加?？臻g，做棧分裂，返回并釋放棧段(stack segment)。如果你在一個循環(huán)中進行這些，你會付出很大的代價（性能方面）。
這就是所謂的“hot split”問題。它也是Go核心開發(fā)組更換到一個新的棧管理方案-棧拷貝(stack copying)的主要原因。
五、?？截?stack copying)
?？截惓跏茧A段與分段棧類似。goroutine在棧上運行著，當用光?？臻g，它遇到與舊方案中相同的棧溢出檢查。但是與舊方案采用的保留一個返 回前一段棧的link不同，新方案創(chuàng)建一個兩倍于原stack大小的新stack，并將舊棧拷貝到其中。這意味著當棧實際使用的空間縮小為原先的 大小時，go運行時不用做任何事情。棧縮小是一個無任何代價的操作。此外，當棧再次增長時，運行時也無需做任何事情，我們只需要重用之前分配的空 閑空間即可。
六、棧是怎么拷貝的
拷貝棧聽起來簡單，但實際上它是一件有難度的事情。因為Go中棧上的變量都有自己的地址，一旦你擁有指向棧上變量的指針，這種情況下你就無法如你 所愿。當你移動棧時，指向原棧的指針都將變?yōu)闊o效指針。
幸運的是，只有在棧上分配的指針才能指向棧上的地址。這點對于內(nèi)存安全是極其必要的，否則，程序可能會訪問到已不再使用了的棧上的地址。
由于我們需要知道那些需要被垃圾收集器回收的指針的位置，因此我們知道棧上哪些部分是指針。當我們移動棧時，我們可以更新棧里地指針使其指向新的 目標地址，并且所有相關(guān)的指針都要被照顧到。
由于我們使用垃圾回收的信息來協(xié)助完成?？截?，因此所有出現(xiàn)在棧上的函數(shù)都必須具備這些信息。但事情不總是這樣的。因為Go運行時的大部分代碼是 用C編寫的，大量的運行時調(diào)用沒有指針信息可用，這樣就無法進行拷貝。一旦這種情況發(fā)生，我們又不得不退回到分段棧方案，并接受為其付出的高昂代 價。
這就是當前Go運行時開發(fā)者大規(guī)模重寫Go runtime的原因。那些無法用Go重寫的代碼，比如調(diào)度器和垃圾收集器的內(nèi)核，將在一個特殊的棧上執(zhí)行，這個特殊棧的size由runtime開發(fā)者 單獨計算確定。
除了讓棧拷貝成為可能之外，這個方法還會使得我們在未來能夠?qū)崿F(xiàn)出并發(fā)垃圾回收等特性。
七、關(guān)于虛擬內(nèi)存
另外一種不同的棧處理方式就是在虛擬內(nèi)存中分配大內(nèi)存段。由于物理內(nèi)存只是在真正使用時才會被分配，因此看起來好似你可以分配一個大內(nèi)存段并讓操 作系統(tǒng)處理它。下面是這種方法的一些問題
首先，32位系統(tǒng)只能支持4G字節(jié)虛擬內(nèi)存，并且應用只能用到其中的3G空間。由于同時運行百萬goroutines的情況并不少見，因此你很可 能用光虛擬內(nèi)存，即便我們假設(shè)每個goroutine的stack只有8K。
第二，然而我們可以在64位系統(tǒng)中分配大內(nèi)存，它依賴于過量內(nèi)存使用。所謂過量使用是指當你分配的內(nèi)存大小超出物理內(nèi)存大小時，依賴操作系統(tǒng)保證 在需要時能夠分配出物理內(nèi)存。然而，允許過量使用可能會導致一些風險。由于一些進程分配了超出機器物理內(nèi)存大小的內(nèi)存，如果這些進程使用更多內(nèi)存 時，操作系統(tǒng)將不得不為它們補充分配內(nèi)存。這會導致操作系統(tǒng)將一些內(nèi)存段放入磁盤緩存，這常常會增加不可預測的處理延遲。正是考慮到這個原因，一 些新系統(tǒng)關(guān)閉了對過量使用的支持。
八、結(jié)論
為了使goroutine使用代價更加低廉，更快速，適合更多task情況，Go開發(fā)組做出了很多努力。棧管理只是其中一小部分。如果你想了解更 多關(guān)于?？截惖募毠?jié)，可以參考其設(shè)計文檔。此外，如果你想了解更多有關(guān)Go運行 時重寫的細節(jié)，這里有一個mail list。
本文題目：Go語言是如何處理棧的
當前URL：http://m.5511xx.com/article/copooss.html
