11.4. 多線程

線程是一種對于非順序依賴的多個任務(wù)進(jìn)行解耦的技術(shù)。多線程可以提高應(yīng)用的響應(yīng)效率，當(dāng)接收用戶輸入的同時，保持其他任務(wù)在后臺運行。一個有關(guān)的應(yīng)用場景是，將 I/O 和計算運行在兩個并行的線程中。

以下代碼展示了高階的 threading 模塊如何在后臺運行任務(wù)，且不影響主程序的繼續(xù)運行:

 
 
 
 

  
  
  
  
import threading, zipfile
  
  
  
  

  
  
  
  
class AsyncZip(threading.Thread):
  
  
  
  
 def __init__(self, infile, outfile):
  
  
  
  
 threading.Thread.__init__(self)
  
  
  
  
 self.infile = infile
  
  
  
  
 self.outfile = outfile
  
  
  
  

  
  
  
  
 def run(self):
  
  
  
  
 f = zipfile.ZipFile(self.outfile, 'w', zipfile.ZIP_DEFLATED)
  
  
  
  
 f.write(self.infile)
  
  
  
  
 f.close()
  
  
  
  
 print('Finished background zip of:', self.infile)
  
  
  
  

  
  
  
  
background = AsyncZip('mydata.txt', 'myarchive.zip')
  
  
  
  
background.start()
  
  
  
  
print('The main program continues to run in foreground.')
  
  
  
  

  
  
  
  
background.join() # Wait for the background task to finish
  
  
  
  
print('Main program waited until background was done.')
 
 
 
 

多線程應(yīng)用面臨的主要挑戰(zhàn)是，相互協(xié)調(diào)的多個線程之間需要共享數(shù)據(jù)或其他資源。為此，threading 模塊提供了多個同步操作原語，包括線程鎖、事件、條件變量和信號量。

盡管這些工具非常強(qiáng)大，但微小的設(shè)計錯誤卻可以導(dǎo)致一些難以復(fù)現(xiàn)的問題。因此，實現(xiàn)多任務(wù)協(xié)作的首選方法是將所有對資源的請求集中到一個線程中，然后使用 queue 模塊向該線程供應(yīng)來自其他線程的請求。 應(yīng)用程序使用 Queue 對象進(jìn)行線程間通信和協(xié)調(diào)，更易于設(shè)計，更易讀，更可靠。

11.5. 日志記錄

logging 模塊提供功能齊全且靈活的日志記錄系統(tǒng)。在最簡單的情況下，日志消息被發(fā)送到文件或 sys.stderr

 
 
 
 

  
  
  
  
import logging
  
  
  
  
logging.debug('Debugging information')
  
  
  
  
logging.info('Informational message')
  
  
  
  
logging.warning('Warning:config file %s not found', 'server.conf')
  
  
  
  
logging.error('Error occurred')
  
  
  
  
logging.critical('Critical error -- shutting down')
 
 
 
 

這會產(chǎn)生以下輸出:

 
 
 
 

  
  
  
  
WARNING:root:Warning:config file server.conf not found
  
  
  
  
ERROR:root:Error occurred
  
  
  
  
CRITICAL:root:Critical error -- shutting down
 
 
 
 

默認(rèn)情況下，informational 和 debugging 消息被壓制，輸出會發(fā)送到標(biāo)準(zhǔn)錯誤流。其他輸出選項包括將消息轉(zhuǎn)發(fā)到電子郵件，數(shù)據(jù)報，套接字或 HTTP 服務(wù)器。新的過濾器可以根據(jù)消息優(yōu)先級選擇不同的路由方式：DEBUG，INFO，WARNING，ERROR，和 CRITICAL。

日志系統(tǒng)可以直接從 Python 配置，也可以從用戶配置文件加載，以便自定義日志記錄而無需更改應(yīng)用程序。

11.6. 弱引用

Python 會自動進(jìn)行內(nèi)存管理（對大多數(shù)對象進(jìn)行引用計數(shù)并使用 garbage collection 來清除循環(huán)引用）。 當(dāng)某個對象的最后一個引用被移除后不久就會釋放其所占用的內(nèi)存。

此方式對大多數(shù)應(yīng)用來說都適用，但偶爾也必須在對象持續(xù)被其他對象所使用時跟蹤它們。 不幸的是，跟蹤它們將創(chuàng)建一個會令其永久化的引用。 weakref 模塊提供的工具可以不必創(chuàng)建引用就能跟蹤對象。 當(dāng)對象不再需要時，它將自動從一個弱引用表中被移除，并為弱引用對象觸發(fā)一個回調(diào)。 典型應(yīng)用包括對創(chuàng)建開銷較大的對象進(jìn)行緩存:

 
 
 
 

  
  
  
  
>>> import weakref, gc
  
  
  
  
>>> class A:
  
  
  
  
... def __init__(self, value):
  
  
  
  
... self.value = value
  
  
  
  
... def __repr__(self):
  
  
  
  
... return str(self.value)
  
  
  
  
...
  
  
  
  
>>> a = A(10) # create a reference
  
  
  
  
>>> d = weakref.WeakValueDictionary()
  
  
  
  
>>> d['primary'] = a # does not create a reference
  
  
  
  
>>> d['primary'] # fetch the object if it is still alive
  
  
  
  
10
  
  
  
  
>>> del a # remove the one reference
  
  
  
  
>>> gc.collect() # run garbage collection right away
  
  
  
  
0
  
  
  
  
>>> d['primary'] # entry was automatically removed
  
  
  
  
Traceback (most recent call last):
  
  
  
  
 File "", line 1, in 
  
  
  
  
 d['primary'] # entry was automatically removed
  
  
  
  
 File "C:/Python311/lib/weakref.py", line 46, in __getitem__
  
  
  
  
 o = self.data[key]()
  
  
  
  
KeyError: 'primary'
 
 
 
 

11.7. 用于操作列表的工具

許多對于數(shù)據(jù)結(jié)構(gòu)的需求可以通過內(nèi)置列表類型來滿足。 但是，有時也會需要具有不同效費比的替代實現(xiàn)。

array 模塊提供了一種 array() 對象，它類似于列表，但只能存儲類型一致的數(shù)據(jù)且存儲密集更高。 下面的例子演示了一個以兩個字節(jié)為存儲單元的無符號二進(jìn)制數(shù)值的數(shù)組 (類型碼為 "H")，而對于普通列表來說，每個條目存儲為標(biāo)準(zhǔn) Python 的 int 對象通常要占用16 個字節(jié):

 
 
 
 

  
  
  
  
>>> from array import array
  
  
  
  
>>> a = array('H', [4000, 10, 700, 22222])
  
  
  
  
>>> sum(a)
  
  
  
  
26932
  
  
  
  
>>> a[1:3]
  
  
  
  
array('H', [10, 700])
 
 
 
 

collections 模塊提供了一種 deque() 對象，它類似于列表，但從左端添加和彈出的速度較快，而在中間查找的速度較慢。 此種對象適用于實現(xiàn)隊列和廣度優(yōu)先樹搜索:

 
 
 
 

  
  
  
  
>>> from collections import deque
  
  
  
  
>>> d = deque(["task1", "task2", "task3"])
  
  
  
  
>>> d.append("task4")
  
  
  
  
>>> print("Handling", d.popleft())
  
  
  
  
Handling task1
 
 
 
 

 
 
 
 

  
  
  
  
unsearched = deque([starting_node])
  
  
  
  
def breadth_first_search(unsearched):
  
  
  
  
 node = unsearched.popleft()
  
  
  
  
 for m in gen_moves(node):
  
  
  
  
 if is_goal(m):
  
  
  
  
 return m
  
  
  
  
 unsearched.append(m)
 
 
 
 

在替代的列表實現(xiàn)以外，標(biāo)準(zhǔn)庫也提供了其他工具，例如 bisect 模塊具有用于操作有序列表的函數(shù):

 
 
 
 

  
  
  
  
>>> import bisect
  
  
  
  
>>> scores = [(100, 'perl'), (200, 'tcl'), (400, 'lua'), (500, 'python')]
  
  
  
  
>>> bisect.insort(scores, (300, 'ruby'))
  
  
  
  
>>> scores
  
  
  
  
[(100, 'perl'), (200, 'tcl'), (300, 'ruby'), (400, 'lua'), (500, 'python')]
 
 
 
 

heapq 模塊提供了基于常規(guī)列表來實現(xiàn)堆的函數(shù)。 最小值的條目總是保持在位置零。 這對于需要重復(fù)訪問最小元素而不希望運行完整列表排序的應(yīng)用來說非常有用:

 
 
 
 

  
  
  
  
>>> from heapq import heapify, heappop, heappush
  
  
  
  
>>> data = [1, 3, 5, 7, 9, 2, 4, 6, 8, 0]
  
  
  
  
>>> heapify(data) # rearrange the list into heap order
  
  
  
  
>>> heappush(data, -5) # add a new entry
  
  
  
  
>>> [heappop(data) for i in range(3)] # fetch the three smallest entries
  
  
  
  
[-5, 0, 1]
 
 
 
 

11.8. 十進(jìn)制浮點運算

decimal 模塊提供了一種 Decimal 數(shù)據(jù)類型用于十進(jìn)制浮點運算。 相比內(nèi)置的 float 二進(jìn)制浮點實現(xiàn)，該類特別適用于

• 財務(wù)應(yīng)用和其他需要精確十進(jìn)制表示的用途，

• 控制精度，

• 控制四舍五入以滿足法律或監(jiān)管要求，

• 跟蹤有效小數(shù)位，或

• 用戶期望結(jié)果與手工完成的計算相匹配的應(yīng)用程序。

例如，使用十進(jìn)制浮點和二進(jìn)制浮點數(shù)計算70美分手機(jī)和5％稅的總費用，會產(chǎn)生的不同結(jié)果。如果結(jié)果四舍五入到最接近的分?jǐn)?shù)差異會更大:

 
 
 
 

  
  
  
  
>>> from decimal import *
  
  
  
  
>>> round(Decimal('0.70') * Decimal('1.05'), 2)
  
  
  
  
Decimal('0.74')
  
  
  
  
>>> round(.70 * 1.05, 2)
  
  
  
  
0.73
 
 
 
 

Decimal 表示的結(jié)果會保留尾部的零，并根據(jù)具有兩個有效位的被乘數(shù)自動推出四個有效位。 Decimal 可以模擬手工運算來避免當(dāng)二進(jìn)制浮點數(shù)無法精確表示十進(jìn)制數(shù)時會導(dǎo)致的問題。

精確表示特性使得 Decimal 類能夠執(zhí)行對于二進(jìn)制浮點數(shù)來說不適用的模運算和相等性檢測:

 
 
 
 

  
  
  
  
>>> Decimal('1.00') % Decimal('.10')
  
  
  
  
Decimal('0.00')
  
  
  
  
>>> 1.00 % 0.10
  
  
  
  
0.09999999999999995
  
  
  
  

  
  
  
  
>>> sum([Decimal('0.1')]*10) == Decimal('1.0')
  
  
  
  
True
  
  
  
  
>>> sum([0.1]*10) == 1.0
  
  
  
  
False
 
 
 
 

decimal 模塊提供了運算所需要的足夠精度:

 
 
 
 

  
  
  
  
>>> getcontext().prec = 36
  
  
  
  
>>> Decimal(1) / Decimal(7)
  
  
  
  
Decimal('0.142857142857142857142857142857142857')