Python并发数据结构详解（小白也能掌握的线程安全队列与多线程编程）

为什么需要线程安全？

假设你有两个线程同时向一个普通列表添加元素：

import threading# 危险！非线程安全的列表unsafe_list = []def add_items():    for i in range(1000):        unsafe_list.append(i)# 创建两个线程thread1 = threading.Thread(target=add_items)thread2 = threading.Thread(target=add_items)thread1.start()thread2.start()thread1.join()thread2.join()print(len(unsafe_list))  # 结果可能小于2000！

由于列表的 append() 操作不是原子的，在高并发下可能导致数据丢失。这就是为什么我们需要线程安全队列等并发数据结构。

Python 中的线程安全队列：queue 模块

Python 标准库中的 queue 模块提供了多种线程安全的队列实现，是处理多线程编程任务的利器。

1. FIFO 队列（先进先出）

import queueimport threadingimport time# 创建线程安全队列q = queue.Queue()def producer():    for i in range(5):        q.put(f"item-{i}")        print(f"Produced item-{i}")        time.sleep(0.1)def consumer():    while True:        item = q.get()        if item is None:            break        print(f"Consumed {item}")        q.task_done()# 启动生产者和消费者线程prod_thread = threading.Thread(target=producer)cons_thread = threading.Thread(target=consumer, daemon=True)cons_thread.start()prod_thread.start()prod_thread.join()q.join()  # 等待所有任务完成print("All done!")

2. LIFO 队列（后进先出，类似栈）

import queuelifo_q = queue.LifoQueue()lifo_q.put("first")lifo_q.put("second")print(lifo_q.get())  # 输出: secondprint(lifo_q.get())  # 输出: first

3. 优先级队列

import queuepq = queue.PriorityQueue()pq.put((2, "low priority"))pq.put((1, "high priority"))pq.put((3, "lowest priority"))while not pq.empty():    print(pq.get())# 输出:# (1, 'high priority')# (2, 'low priority')# (3, 'lowest priority')

其他线程安全的数据结构

除了 queue 模块，Python 还提供了其他方式实现线程安全：

• collections.deque：双端队列，在单生产者/单消费者场景下是线程安全的（但不适用于多生产者/多消费者）。
• threading.Lock：手动加锁保护普通数据结构。
• queue.Queue：推荐用于大多数多线程通信场景。

最佳实践建议

1. **优先使用内置的并发数据结构**：如 queue.Queue，避免自己实现锁机制。

2. **避免全局变量**：尽量通过队列在线程间传递数据，而不是共享状态。

3. **使用 daemon=True**：防止消费者线程阻塞主线程退出。

4. **记得调用 task_done() 和 join()**：确保所有任务被正确处理。

总结

掌握 Python并发数据结构 是编写高效、安全多线程程序的关键。通过使用 queue 模块提供的线程安全队列，你可以轻松实现生产者-消费者模式，避免竞态条件。无论你是初学者还是有经验的开发者，理解并正确使用这些工具都将极大提升你的 Python并发编程 能力。

记住：并发不是魔法，而是需要谨慎设计的艺术。选择正确的数据结构，让你的多线程程序既快又稳！