控制 Python 爬虫速度是避免服务器过载和触发反爬机制的关键技术。以下是具体方法及代码示例：1. 基础延时控制使用 time.sleep() 在请求间插入固定间隔，适用于简单场景：import timeimport requestsurls = ["https://example.com/page1", "https://example.com/page2"]for url in urls: response = requests.get(url) print(response.status_code) time.sleep(5) # 每次请求后暂停5秒2. 精确限速库通过 ratelimiter 库动态控制请求频率（如每秒10次）：from ratelimiter import RateLimiterimport requestslimiter = RateLimiter(max_calls=10, period=1) # 每秒最多10次请求urls = [...] # 目标URL列表for url in urls: with limiter: response = requests.get(url) print(response.status_code) # 若超限，limiter会自动等待冷却时间3. 并发与限速结合使用线程池控制并发数，同时结合全局限速：import concurrent.futuresfrom ratelimiter import RateLimiterimport requestslimiter = RateLimiter(max_calls=5, period=1) # 全局限速：每秒5次def scrape_url(url): with limiter: return requests.get(url).status_codeurls = [...] # 目标URL列表with concurrent.futures.ThreadPoolExecutor(max_workers=5) as executor: results = list(executor.map(scrape_url, urls))4. 遵守爬虫协议检查目标网站的 robots.txt（如 https://example.com/robots.txt），遵守 Crawl-Delay 指令或用户代理限制。5. 代理池轮换通过代理分散请求来源，降低被封风险：import requestsfrom itertools import cycleproxies = [ "http://proxy1.example.com:8080", "http://proxy2.example.com:8080"]proxy_pool = cycle(proxies) # 循环使用代理url = "https://example.com"for _ in range(10): proxy = next(proxy_pool) response = requests.get(url, proxies={"http": proxy}) print(f"通过代理 {proxy} 获取状态码: {response.status_code}")关键注意事项动态调整：根据服务器响应（如 Retry-After 头）动态调整延时。异常处理：捕获 requests.exceptions 并实现重试机制。日志监控：记录请求间隔和成功率，便于优化策略。总结简单场景：直接使用 time.sleep()。精确控制：ratelimiter 库。高效爬取：并发+限速组合。反爬规避：代理池+遵守规则。根据目标网站的反爬强度和服务器性能，灵活组合上述方法可平衡效率与安全性。