Python内存映射文件详解（使用mmap库实现高效文件读写）

为什么使用 mmap？

• ✅ 节省内存：不需要一次性将整个文件加载到内存中。
• ✅ 高性能：避免了频繁的系统调用，提升读写速度。
• ✅ 支持随机访问：可以像操作字节数组一样直接跳转到任意位置。
• ✅ 跨平台：Python 的 mmap 模块在 Windows 和 Unix 系统上都能使用。

安装与导入

mmap 是 Python 标准库的一部分，无需额外安装。只需在代码开头导入即可：

import mmap  

基础用法：读取文件

下面是一个使用 mmap 读取文本文件的完整示例：

# 创建一个测试文件with open('example.txt', 'w') as f:    f.write('Hello, this is a test file for mmap!')# 使用 mmap 读取文件with open('example.txt', 'r') as f:    with mmap.mmap(f.fileno(), length=0, access=mmap.ACCESS_READ) as mm:        content = mm.read()        print(content.decode('utf-8'))  # 输出: Hello, this is a test file for mmap!  

注意：f.fileno() 获取文件描述符，length=0 表示映射整个文件，ACCESS_READ 表示只读模式。

写入文件

要修改文件内容，需要以读写模式打开文件，并使用 ACCESS_WRITE：

# 先确保文件存在且有足够空间with open('example.txt', 'r+b') as f:  # 注意使用 'r+b' 模式    with mmap.mmap(f.fileno(), length=0, access=mmap.ACCESS_WRITE) as mm:        mm.seek(7)  # 移动到第7个字节        mm.write(b'World')  # 替换 "this" 为 "World"# 验证修改结果with open('example.txt', 'r') as f:    print(f.read())  # 输出: Hello, World is a test file for mmap!  

常见应用场景

• 🔍 日志分析：快速扫描大型日志文件中的关键词。
• 📊 二进制数据处理：如图像、音频或数据库文件的高效读写。
• 🔄 多进程共享数据：多个进程可通过同一个映射文件共享状态（需配合锁机制）。

注意事项

• ⚠️ 在 Windows 上，文件必须以二进制模式（如 'r+b'）打开才能进行写入。
• ⚠️ 映射区域大小不能超过文件实际大小（除非显式扩展文件）。
• ⚠️ 使用完毕后务必关闭 mmap 对象，否则可能导致资源泄漏。

总结

通过本教程，你已经掌握了 Python mmap 的核心用法。无论是处理大文件、提升 I/O 性能，还是实现高效的 文件高效读写，mmap 都是一个值得掌握的利器。希望这篇 mmap教程 能帮助你在实际项目中更高效地操作文件！

关键词回顾：Python mmap、内存映射文件、mmap教程、文件高效读写