Python爬虫urllib使用教程urllib是Python标准库中的网络请求模块，用于发送HTTP/HTTPS请求并处理响应。以下是详细的使用方法和注意事项：1. 基础使用步骤1.1 导入模块import urllib.request # 核心请求模块import urllib.parse # URL解析模块（可选）import urllib.error # 异常处理模块（可选）1.2 发送请求并获取响应url = "https://www.example.com"response = urllib.request.urlopen(url) # 发送请求content = response.read() # 读取响应内容（bytes类型）print(content.decode('utf-8')) # 解码为字符串1.3 处理响应获取状态码：response.status获取响应头：response.headers读取内容：response.read()（返回字节流，需解码）2. 附加功能2.1 URL解析使用urllib.parse处理URL参数：from urllib.parse import urlencode, quote# 拼接带参数的URLparams = {'q': 'python', 'page': 1}query_string = urlencode(params) # 编码为 'q=python&page=1'full_url = f"https://www.example.com/search?{query_string}"# 处理特殊字符encoded_url = quote("https://示例.com") # URL编码2.2 自定义请求头通过Request对象传递头部信息：headers = { 'User-Agent': 'Mozilla/5.0', 'Accept': 'text/html'}req = urllib.request.Request(url, headers=headers)response = urllib.request.urlopen(req)2.3 异常处理捕获网络请求中的错误：try: response = urllib.request.urlopen("https://invalid-url.com")except urllib.error.URLError as e: print("请求失败:", e.reason)except urllib.error.HTTPError as e: print("HTTP错误:", e.code, e.reason)3. 完整示例import urllib.requestfrom urllib.parse import urlencodedef fetch_webpage(url, params=None): try: # 处理查询参数 if params: url += '?' + urlencode(params) # 发送请求 req = urllib.request.Request(url, headers={'User-Agent': 'Mozilla/5.0'}) with urllib.request.urlopen(req) as response: content = response.read().decode('utf-8') print(f"状态码: {response.status}") return content except urllib.error.URLError as e: print("错误:", e.reason)# 使用示例html = fetch_webpage("https://www.example.com", {"key": "value"})print(html[:200]) # 打印前200字符4. 注意事项协议限制：urllib默认支持HTTP/HTTPS，但需注意：HTTPS证书验证：若需忽略证书错误（不推荐），可通过自定义HTTPSHandler实现。重定向：默认跟随重定向，可通过context参数控制。性能与扩展性：urllib是同步库，高并发场景建议使用requests或aiohttp。复杂功能（如会话保持、Cookie）需手动实现。编码问题：响应内容通常为字节流，需根据网页编码（如utf-8）解码。反爬机制：部分网站会屏蔽默认User-Agent，需模拟浏览器头部。5. 常见问题如何设置超时？通过urlopen的timeout参数：urlopen(url, timeout=10)。如何处理POST请求？使用Request对象并传递data参数（需编码为字节）：data = urlencode({'name': 'test'}).encode('utf-8')req = urllib.request.Request(url, data=data, method='POST')通过以上步骤，你可以快速上手urllib进行基础爬虫开发。如需更高级功能（如代理、异步请求），建议结合其他库（如requests或scrapy）。