高效抓取网页数据（Python异步Web请求入门教程）

为什么需要异步请求？

假设你要从10个不同的网站获取数据：

• 同步方式：依次请求，总耗时 ≈ 每个请求耗时之和（比如10秒）
• 异步方式：几乎同时发起所有请求，总耗时 ≈ 最慢的那个请求耗时（比如1.2秒）

这就是Python并发请求带来的巨大性能优势！

所需工具：asyncio 与 aiohttp

在Python中实现异步Web请求，我们主要依赖两个核心库：

• asyncio：Python标准库，提供事件循环和异步编程基础
• aiohttp：基于asyncio的异步HTTP客户端/服务器框架

首先安装aiohttp：

pip install aiohttp

第一个异步请求示例

下面是一个简单的单个异步请求示例，帮助你理解基本结构：

import asyncioimport aiohttpasync def fetch(session, url):    async with session.get(url) as response:        return await response.text()async def main():    async with aiohttp.ClientSession() as session:        html = await fetch(session, 'https://httpbin.org/get')        print(html)# 运行异步函数asyncio.run(main())

这段代码展示了如何使用aiohttp创建一个异步HTTP客户端会话，并获取网页内容。

并发请求多个URL

现在让我们实现真正的异步HTTP客户端功能——同时请求多个URL：

import asyncioimport aiohttpimport timeasync def fetch_url(session, url):    try:        async with session.get(url) as response:            content = await response.text()            print(f"✅ 已获取: {url[:30]}... | 状态码: {response.status}")            return content    except Exception as e:        print(f"❌ 请求失败: {url} | 错误: {str(e)}")        return Noneasync def fetch_multiple_urls(urls):    async with aiohttp.ClientSession() as session:        tasks = [fetch_url(session, url) for url in urls]        results = await asyncio.gather(*tasks)        return results# 测试URL列表urls = [    'https://httpbin.org/delay/1',    'https://httpbin.org/delay/2',    'https://jsonplaceholder.typicode.com/posts/1',    'https://jsonplaceholder.typicode.com/posts/2',    'https://api.github.com',]# 记录开始时间start_time = time.time()# 执行并发请求results = asyncio.run(fetch_multiple_urls(urls))# 输出耗时print(f"\n⏱️ 总耗时: {time.time() - start_time:.2f} 秒")print(f"📄 成功获取 {len([r for r in results if r is not None])} 个页面")

在这个例子中，我们使用asyncio.gather()同时运行多个任务。即使某些请求较慢（如delay/2），也不会阻塞其他快速请求的完成。

最佳实践与注意事项

• 限制并发数量：不要一次性发起成千上万个请求，可能被目标服务器封禁。可使用asyncio.Semaphore控制并发数。
• 异常处理：网络请求容易失败，务必使用try-except捕获异常。
• 会话复用：始终在ClientSession上下文中操作，避免资源泄漏。
• 遵守robots.txt：尊重网站爬虫协议，合理设置请求间隔。

总结

通过本教程，你已经掌握了Python异步Web请求的核心概念和实战技巧。使用asyncio和aiohttp，你可以轻松构建高性能的网络爬虫、API客户端或数据聚合工具。记住，异步编程虽强大，但也需谨慎处理错误和资源管理。

关键词回顾：Python异步Web请求、asyncio aiohttp、Python并发请求、异步HTTP客户端