多進程相關內容
multiprocessing模塊與process類
multiprocessing
python中的多線程無法利用多核優勢，如果想要充分地使用多核CPU的資源（os.cpu_count()查看），在python中大部分情況需要使用多進程。Python提供了multiprocessing。
multiprocessing模塊用來開啟子進程，并在子進程中執行我們定制的任務（比如函數），該模塊與多線程模塊threading的編程接口類似。
multiprocessing模塊的功能眾多：支持子進程、通信和共享數據、執行不同形式的同步，提供了Process、Queue、Pipe、Lock等組件。
? 需要再次強調的一點是：與線程不同，進程沒有任何共享狀態，進程修改的數據，改動僅限于該進程內。
process類
參數介紹：
group參數未使用，值始終為Nonetarget表示調用對象，即子進程要執行的任務args表示調用對象的位置參數元組，args=(1,2,'egon',)kwargs表示調用對象的字典,kwargs={'name':'egon','age':18}name為子進程的名稱方法介紹：
p.start()：啟動進程，并調用該子進程中的p.run()
p.run():進程啟動時運行的方法，正是它去調用target指定的函數，我們自定義類的類中一定要實現該方法 p.terminate():強制終止進程p，不會進行任何清理操作，如果p創建了子進程，該子進程就成了僵尸進程，使用該方法需要特別小心這種情況。如果p還保存了一個鎖那么也將不會被釋放，進而導致死鎖p.is_alive():如果p仍然運行，返回Truep.join([timeout]):主線程等待p終止（強調：是主線程處于等的狀態，而p是處于運行的狀態）。timeout是可選的超時時間，需要強調的是，p.join只能join住start開啟的進程，而不能join住run開啟的進程 屬性介紹：
p.daemon：默認值為False，如果設為True，代表p為后臺運行的守護進程，當p的父進程終止時，p也隨之終止，并且設定為True后，p不能創建自己的新進程，必須在p.start()之前設置p.name:進程的名稱p.pid：進程的pidp.exitcode:進程在運行時為None、如果為–N，表示被信號N結束(了解即可)p.authkey:進程的身份驗證鍵,默認是由os.urandom()隨機生成的32字符的字符串。這個鍵的用途是為涉及網絡連接的底層進程間通信提供安全性，這類連接只有在具有相同的身份驗證鍵時才能成功（了解即可）創建子進程的兩種方式
注意：在windows中Process()必須放到# if name == 'main':下
第一種方式：
from multiprocessing import Process
import time
def task(name):print(f"{name} is running")time.sleep(3)print(f"{name} is gone")
if __name__ == '__main__':p = Process(target = task,args=('黑哥',)) # 創建一個進程對象# p = Process(target=task,kwargs={'name':'黑哥'}) 兩種傳參方式p.start() # 只是向操作系統發出一個開辟子進程的信號,然后就執行下一行了.# 這個信號操作系統接收到之后,會從內存中開辟一個子進程空間,然后在將主進程所有數據copy加載到子進程,然后在調用cpu去執行.# 開辟子進程開銷是很大的.print('==主')# 所以永遠會先執行主進程的代碼.
# 結果：
==主
黑哥 is running
黑哥 is gone第二種方式：
from multiuprocessing import Process
import timeclass MyProcess(Process):def __init__(self,name):super().__init__()self.name = namedef run(self): # 必須定義一個run方法print(f"{self.name} is runing")time.sleep(2)print(f"{self.name} is gone")
if __name__ == "__main__":p = MyProcess('黑哥')p.start()print('==主')
# 結果：
==主
黑哥 is running
黑哥 is gone簡單應用：
from multiprocessing import Process
import time
def task(name):print(f"{name} is running")time.sleep(2)print(f"{name} is gone")def task1(name):print(f"{name} is running")time.sleep(2)print(f"{name} is gone")
def task2(name):print(f"{name} is running")time.sleep(2)print(f"{name} is gone")
if __name__ == '__main__':p1 = Process(target=task,args=('黑哥',))p2 = Process(target=task,args=('李業',))start_time = time.time()
# task('黑哥')
# task1('李業')
# task2('海狗')
# print(f"結束時間{time.time() - start_time}")p1.start() # 使用多進程優化代碼運行時間p2.start() task('海狗')print(f"結束時間{time.time()-start_time}")進程pid
如何獲取內存中的所有進程？
- 命令行獲取所有的進程的pid tasklist
代碼級別如果獲取一個進程pid
import os
print(os.getpid())如何獲取父進程（主進程）的pid?
import osimport time
print(f'子進程:{os.getpid()}')
print(f'主(父)進程:{os.getppid()}')驗證進程之間的空間隔離
在同一進程中：
x = 1000
def task():global xx = 2
task()
print(x)
# 結果：
2在不同進程中：
from multiprocessing import Process
import time
x = 1000
def task():global xx = 2if __name__ == '__main__':p = Process(target=task)p.start()time.sleep(3)print(x)
# 結果：
1000進程對象的join方法
join讓主進程等待子進程結束之后,在執行主進程.
from multiprocessing import Process
import time
def task(name):print(f"{name} is running")time.sleep(2)print(f"{name} is gone")if __name__ == '__main__':p = Process(target=task,args=('黑哥',))p.start()p.join()print("==主")多個子進程使用join
from multiprocessing import Process
import timedef task(name,sec):print(f"{name} is running")time.sleep(sec)print(f"{name} is gone")if __name__ == '__main__':start_time = time.time()p1 = Process(target=task,args=('黑哥',1))p2 = Process(target=task,args=('李業',2))p3 = Process(target=task,args=('海狗',3))p1.start()p2.start()p3.start()p1.join()p2.join()p3.join()print(f"==主{time.time()-start_time}")
# 結果：
李業 is running
黑哥 is running
海狗 is running
黑哥 is gone
李業 is gone
海狗 is gone
==主3.6357808113098145from multiprocessing import Process
import time
def task(name,sec):print(f'{name} is running')time.sleep(sec)print(f"{name} is gone")
if __name__ == '__main__':start_time = time.time()p1 = Process(target=task,args=('黑哥',3))p2 = Process(target=task,args=('李業',2))p3 = Process(target=task,args=('海狗',4))p1.start()p2.start()p3.start()p1.join()print(f"==主1：{time.time()-start_time}")p2.join()print(f"==主2：{time.time()-start_time}")p3.join()print(f"==主3：{time.time()-start_time}")
# 結果：
黑哥 is running
海狗 is running
李業 is running
李業 is gone
黑哥 is gone
==主1：3.741270065307617
==主2：3.741270065307617
海狗 is gone
==主3：4.746762990951538相關面試題：
# 優化下面的代碼：
from multiprocessing import Process
import timedef task(sec):print(f'is running')time.sleep(sec)print(f' is gone')if __name__ == '__main__':start_time = time.time()p1 = Process(target=task,args=(1,))p2 = Process(target=task,args=(2,))p3 = Process(target=task,args=(3,))p1.start()p2.start()p3.start()# join 只針對主進程,如果join下面多次join 他是不阻塞的.p1.join()p2.join()p3.join()# 正確解法：
from multiprocessing import Process
import timedef task(sec):print(f"is running")time.sleep(sec)print(f"is gone")if __name__ == '__main__':p1 = Process(target=task,args=('常鑫',3))p2 = Process(target=task,args=('立業',2))p3 = Process(target=task,args=('還夠',4))start_time = time.time()p1.start()p2.start()p3.start()lst = []for i in range(1,4):p = Process(target=task,args = (i,))p.start()lst.append(p)for i in lst:i.join()print(f"{i}", f'{time.time() - start_time}')進程對象的其他屬性
from multiprocessing import Process
import timedef task(name):print(f"{name} is running")time.sleep(2)print(f"{name} is gone")if __name__ == '__main__':# p = Process(target=task,args=('黑哥',))p = Process(target=task,args=('黑哥',),name='alex')p.start()time.sleep(1)p.terminate() # 殺死子進程p.join()time.sleep(0.5)print(p.is_alive()) # 判斷進程是否存在print(p.name)p.name = 'sb' # 給子進程起名字print(p.name)print('==主開始')守護進程
子進程守護著主進程,只要主進程結束,子進程跟著就結束,
主進程創建守護進程
其一：守護進程會在主進程代碼執行結束后就終止
其二：守護進程內無法再開啟子進程,否則拋出異常：AssertionError: daemonic processes are not allowed to have children
注意：進程之間是互相獨立的，主進程代碼運行結束，守護進程隨即終止
import time
def task(name):print(f"{name} is running")time.sleep(2)print(f"{name} is gone")if __name__ == '__main__':p = Process(target=task,args=('黑哥',))p.daemon = True # 一定要在子進程開啟之前設置p.start()time.sleep(1)print('==主')
# 結果：
黑哥 is running
==主
)
