Python多进程编程详解（从入门到实战：掌握multiprocessing模块与并行计算）

核心模块：multiprocessing

Python标准库中的 multiprocessing 模块是进行多进程编程的核心工具。它提供了创建和管理进程的高级接口，用法与 threading 模块非常相似。

1. 创建一个简单进程

下面是一个最基础的多进程示例：

import multiprocessingimport timedef worker(name):    print(f'进程 {name} 开始执行')    time.sleep(2)    print(f'进程 {name} 执行完毕')if __name__ == '__main__':    # 创建两个进程    p1 = multiprocessing.Process(target=worker, args=('Worker-1',))    p2 = multiprocessing.Process(target=worker, args=('Worker-2',))        # 启动进程    p1.start()    p2.start()        # 等待进程结束    p1.join()    p2.join()        print('所有进程已完成')

注意：必须将进程创建和启动代码放在 if __name__ == '__main__': 块中，这是为了防止在Windows系统下子进程无限递归创建。

2. 使用进程池（Pool）

当需要管理大量进程时，使用 Pool 更加高效。它会自动管理进程的创建和销毁。

from multiprocessing import Poolimport osimport timedef square(x):    pid = os.getpid()    print(f'进程 {pid} 正在计算 {x} 的平方')    time.sleep(1)    return x * xif __name__ == '__main__':    numbers = [1, 2, 3, 4, 5]        # 创建包含4个进程的进程池    with Pool(processes=4) as pool:        results = pool.map(square, numbers)        print('计算结果:', results)

进程间通信（IPC）

在并行计算中，不同进程之间往往需要交换数据。Python的 multiprocessing 模块提供了多种进程间通信机制，包括 Queue、Pipe 和共享内存等。

使用 Queue 进行通信

from multiprocessing import Process, Queuedef producer(q):    for i in range(5):        q.put(f'数据-{i}')    q.put(None)  # 发送结束信号def consumer(q):    while True:        item = q.get()        if item is None:            break        print(f'消费: {item}')if __name__ == '__main__':    queue = Queue()        p1 = Process(target=producer, args=(queue,))    p2 = Process(target=consumer, args=(queue,))        p1.start()    p2.start()        p1.join()    p2.join()

多进程 vs 多线程：如何选择？

• CPU密集型任务（如科学计算、图像处理）：优先使用多进程编程，因为可以利用多核CPU并行计算。
• I/O密集型任务（如网络请求、文件读写）：多线程或异步IO可能更合适，因为大部分时间在等待I/O，不需要并行计算能力。

注意事项与最佳实践

1. 避免创建过多进程，通常进程数不超过CPU核心数的2倍。
2. 使用 with 语句管理 Pool，确保资源正确释放。
3. 进程间通信的数据应尽量小，避免大量数据拷贝带来的性能损耗。
4. 在调试多进程程序时，可使用 multiprocessing.log_to_stderr() 输出日志。

总结

通过本教程，你已经掌握了Python中多进程编程的基本概念和常用方法。无论是使用 Process 直接创建进程，还是使用 Pool 管理进程池，亦或是通过 Queue 实现进程间通信，你都可以根据实际需求选择合适的方案来提升程序性能。记住，在处理并行计算任务时，multiprocessing模块是你最强大的武器之一！

现在就动手试试吧！编写你的第一个多进程程序，体验真正的并行加速！