像线程一样管理进程的Python multiprocessing库
一、创建一个进程
要创建一个进程,最简单的方式是用一个目标函数实例化一个Process对象,然后与threading一样调用start()函数让它工作。示例如下:
import multiprocessing
def worker():
for i in range(3):
print(i)
if __name__=="__main__":
p = multiprocessing.Process(target=worker)
p.start()
运行之后,效果如下:
需要注意的是,multiprocessing库在Windows创建进程必须在if __name__=="__main__":中,这是 Windows 上多进程的实现问题。在 Windows 上,子进程会自动 import 启动它的这个文件,而在 import 的时候是会执行这些语句的。如果直接创建就会无限递归创建子进程报错。所以必须把创建子进程的部分用那个 if 判断保护起来,import 的时候 __name__ 不是 __main__ ,就不会递归运行了。
二、设置进程名
在threading线程中,我们可以通过其参数name设置线程名,同样的我们也可以通过name参数设置其进程的名字。示例如下:
import multiprocessing
import time
def worker():
print(multiprocessing.current_process().name, "start")
time.sleep(2)
print(multiprocessing.current_process().name, "end")
if __name__ == "__main__":
p1 = multiprocessing.Process(name='p1', target=worker)
p2 = multiprocessing.Process(name='p2', target=worker)
p3 = multiprocessing.Process(name='p3', target=worker)
p1.start()
p2.start()
p3.start()
运行之后,效果如下:
三、守护进程
和线程一样,在所有子进程没有退出之前,主程序是不会退出的。有时候,我们可能需要启动一个后台进程,它可以一直运行而不阻塞主程序退出。
要标志一个守护进程,可以将其添加第3个参数daemon,设置为True。默认值为False,不作为守护进程。示例如下:
import multiprocessing
import time
def worker():
print(multiprocessing.current_process().name, "start")
time.sleep(1)
print(multiprocessing.current_process().name, "end")
def worker2():
print(multiprocessing.current_process().name, "start")
time.sleep(2)
print(multiprocessing.current_process().name, "end")
if __name__ == "__main__":
p1 = multiprocessing.Process(name='p1', target=worker)
p2 = multiprocessing.Process(name='p2', target=worker2, daemon=True)
p3 = multiprocessing.Process(name='p3', target=worker2, daemon=True)
p1.start()
p2.start()
p3.start()
运行之后,效果如下:
p2,p3为守护进程,但p1不是所以执行1秒之后,就退出主程序了,也就没有打印p2p3的内容。但是其依旧在执行中,直到执行完成。
四、join()
同样的,如果你期望强制等待一个守护进程的结束,可以增加join()函数。还是上面的代码,示例如下:
import multiprocessing
import time
def worker():
print(multiprocessing.current_process().name, "start")
time.sleep(1)
print(multiprocessing.current_process().name, "end")
def worker2():
print(multiprocessing.current_process().name, "start")
time.sleep(2)
print(multiprocessing.current_process().name, "end")
if __name__ == "__main__":
p1 = multiprocessing.Process(name='p1', target=worker)
p2 = multiprocessing.Process(name='p2', target=worker2, daemon=True)
p3 = multiprocessing.Process(name='p3', target=worker2, daemon=True)
p1.start()
p2.start()
p3.start()
p1.join()
p2.join()
p3.join()
运行之后,和设置进程名的运行结果一样,这里不在展示。唯一与守护进程代码的区别就是最后三行join()函数代码。当然,也可以像线程一样,给join()函数传入一个时间,超过这个时间,主进程不再等待。
五、强制结束进程
如果一个进程已经挂起或者不小心进入了死锁状态,那么这个时候,我们往往会强制的结束进程。对一个进程对象调用terminate()会结束子进程。示例如下:
import multiprocessing
import time
def worker():
print(multiprocessing.current_process().name, "start")
time.sleep(5)
print(multiprocessing.current_process().name, "end")
if __name__ == "__main__":
p1 = multiprocessing.Process(name='p1', target=worker)
p1.start()
print("是否还在运行", p1.is_alive())
p1.terminate()
print("是否还在运行", p1.is_alive())
p1.join()
print("是否还在运行", p1.is_alive())
运行之后,输出如下:
终止进程后要使用join()函数等待进程的退出。使进程管理代码有足够的时间更新对象的状态,以反应进程已经终止。
六、进程退出状态码
进程退出时,生成的状态码可以通过exitcode属性访问。下表就是其状态码的取值范围以及其意义:
退出码 | 含义 |
0 | 未生成任何错误 |
>0 | 进程有一个错误,并以该错误码退出 |
<0 | 进程以一个-1*exitcodde信号结束 |
测试如下:
import multiprocessing
import time
def worker():
print(multiprocessing.current_process().name, "start")
time.sleep(5)
print(multiprocessing.current_process().name, "end")
if __name__ == "__main__":
p1 = multiprocessing.Process(name='p1', target=worker)
p2 = multiprocessing.Process(name='p2', target=worker)
p1.start()
p2.start()
print("是否还在运行", p1.is_alive())
p1.terminate()
print("是否还在运行", p1.is_alive())
print(p1.exitcode)
p1.join()
print("是否还在运行", p1.is_alive())
print(p1.exitcode)
time.sleep(5.5)
print(p2.exitcode)
运行之后,效果如下:
可以看到,强制退出的进程状态码为负数,正常退出的进程状态码为0。
七、日志
调试并发问题时,如果能够访问multiprocessing所提供对象的内部状态,那么这会很有用。在实际的项目中,我们可以使用一个方便的模块级函数启用日志记录,它使用logging建立一个日志记录器对象,并增加一个处理器,使日志消息被发送到标准错误通道。
示例如下:
import multiprocessing
import logging
import sys
def worker():
print("运行工作进程")
sys.stdout.flush()
if __name__ == "__main__":
multiprocessing.log_to_stderr(logging.DEBUG)
p1 = multiprocessing.Process(name='p1', target=worker)
p1.start()
p1.join()
运行之后,效果如下:
八、派生进程
与线程一样,我们可以自定义进程,而不必只是传入一个函数进行进程的创建。
创建的进程的方式也是派生自进程类即可。示例如下:
import multiprocessing
class WorkerProcess(multiprocessing.Process):
def run(self):
print(self.name)
return
if __name__ == "__main__":
for i in range(5):
p = WorkerProcess()
p.start()
p.join()
运行之后,效果如下:
multiprocessing库的进程知识与threading一样长,因为本篇的内容已经够长了,剩下的知识我们将在下一篇博文中接着讲解。
(资源库 www.zyku.net)
原文链接:https://liyuanjinglyj.blog.csdn.net/article/details/116859021
上一篇:python scipy.misc.imsave()函数的用法说明
栏 目:Python教程
本文标题:像线程一样管理进程的Python multiprocessing库
本文地址:https://www.zyku.net/python/9264.html
您可能感兴趣的文章
- 09-30Linux使用top命令查看最消耗CPU和最消耗内存的进程
- 05-25windows modules installer worker是什么? 可以删除吗
- 05-08phpStudy 80端口被占用,占用进程为System解决方法
- 05-28Linux:快速找到占用CPU过高的Thread
- 02-18MariaDB中的thread pool详细介绍和使用方法
- 02-29IIS出现“HTTP 错误 500.0,C:\php\php-cgi.exe - Fas
- 02-22DedeCMS生成静态页html文件速度的提升
- 09-18小米11pro怎么扫一扫翻译
- 02-23WordPress畅言插件安装教程
- 04-14oppofindx3实时网速设置教程
- 01-13php导入文件夹图片保存到dedecms的方
- 07-29jquery v1.10.2
- 11-01iqoo蓝牙耳机如何进行手机配对
- 01-12财今商学堂-财今商学堂应用软件功能介
- 01-11PS修照-PS修照应用软件功能介绍
- 01-09天学网学生-天学网学生应用软件功能介
- 01-02录屏软件精灵-录屏软件精灵应用软件功
- 05-28全面了解Linux 服务器
- 01-12三星fold2分屏功能在哪里设置
- 10-14苹果13电池健康在哪看
最近更新
阅读排行
猜你喜欢
- 07-07OneinStack自带本地/远程备份网站文件
- 03-01苹果12设置相机夜间模式操作方法
- 03-10Sublime Text3下配置SublimeLinter进
- 04-22vivox60pro应用加密功能开启方法
- 01-11八桂教学通-八桂教学通应用软件功能介
- 07-28Linux中ftp不能上传文件/目录的解决办
- 03-17Windows 安装并配置 MySQL 5.6/5.7
- 11-26钉钉头像挂件怎么设置
- 12-27照片拼图拼接-照片拼图拼接应用软件功
- 04-22opporeno5显示内存信息方法