掌握Python并发编程（concurrent.futures入门与实战指南）

快速上手：一个简单的多线程示例

下面是一个使用 ThreadPoolExecutor 执行多个任务的简单例子。我们将模拟下载多个网页内容（用 time.sleep 模拟网络延迟）：

import timefrom concurrent.futures import ThreadPoolExecutordef download_page(url):    print(f"开始下载: {url}")    time.sleep(2)  # 模拟网络延迟    return f"{url} 下载完成"# 定义要下载的URL列表urls = [    "https://example.com/page1",    "https://example.com/page2",    "https://example.com/page3"]# 使用线程池并发执行任务with ThreadPoolExecutor(max_workers=3) as executor:    results = executor.map(download_page, urls)# 输出结果for result in results:    print(result)

运行这段代码，你会发现三个“下载”任务几乎是同时开始的，总耗时接近 2 秒（而不是串行执行的 6 秒）。这就是 多线程Python 带来的并发优势！

submit() 与 map() 的区别

concurrent.futures 提供了两种提交任务的方式：

• executor.map(func, iterable)：适用于对一个可迭代对象中的每个元素应用同一个函数，返回结果按输入顺序排列。
• executor.submit(func, *args)：更灵活，可以提交任意函数和参数，返回一个 Future 对象，可用于检查任务状态或获取结果。

下面是一个使用 submit() 的例子：

from concurrent.futures import ThreadPoolExecutorimport requestsdef fetch_url(url):    response = requests.get(url)    return len(response.content)urls = ["https://httpbin.org/delay/1", "https://httpbin.org/delay/2"]with ThreadPoolExecutor() as executor:    futures = [executor.submit(fetch_url, url) for url in urls]        for future in futures:        print("页面大小:", future.result())

何时使用 ProcessPoolExecutor？

由于 Python 的 GIL（全局解释器锁），多线程在 CPU 密集型任务中无法真正并行。此时应使用 ProcessPoolExecutor，它通过多进程绕过 GIL 限制。

import mathfrom concurrent.futures import ProcessPoolExecutordef is_prime(n):    if n < 2:        return False    for i in range(2, int(math.sqrt(n)) + 1):        if n % i == 0:            return False    return Truenumbers = list(range(1000000, 1001000))# 使用进程池加速素数判断with ProcessPoolExecutor() as executor:    primes = list(executor.map(is_prime, numbers))print(f"找到 {sum(primes)} 个素数")

最佳实践与注意事项

• 合理设置 max_workers：线程数过多会导致上下文切换开销；进程数通常不超过 CPU 核心数。
• 始终使用 with 语句管理执行器，确保资源被正确释放。
• 对于 I/O 密集型任务（如网络请求、数据库操作），优先选择 ThreadPoolExecutor。
• 对于 CPU 密集型任务（如数据处理、加密解密），使用 ProcessPoolExecutor。

结语

concurrent.futures 是 Python 中实现 异步任务处理 的理想工具。它简化了并发编程的复杂性，让你能专注于业务逻辑而非底层细节。无论你是想提升 Web 爬虫效率，还是加速数据分析流程，掌握这个模块都将大有裨益。

希望这篇 concurrent.futures教程 能帮助你迈出 Python 并发编程的第一步！动手尝试修改上面的代码，观察不同参数对性能的影响，你会更快掌握这项强大技能。