在 Python 中爬取 HTTPS 网站时，需解决 SSL 证书验证问题。以下是具体方法和示例代码：一、禁用证书验证（不推荐）通过 requests 库的 verify=False 参数可临时禁用验证，但会降低安全性，仅适用于测试环境。import requestsurl = "https://example.com"response = requests.get(url, verify=False) # 禁用证书验证print(response.text)二、推荐方法：使用第三方库1. requests-html自动处理证书验证，适合简单爬取任务。from requests_html import HTMLSessionurl = "https://example.com"session = HTMLSession()response = session.get(url) # 自动验证证书print(response.text)2. Scrapy专业爬虫框架，内置 HTTPS 支持，适合大规模爬取。import scrapyclass MySpider(scrapy.Spider): name = 'example' start_urls = ['https://example.com'] def parse(self, response): # 提取数据逻辑 print(response.css('title::text').get())运行方式：保存为 spider.py 后执行 scrapy runspider spider.py。3. Selenium模拟浏览器行为，适合动态渲染页面。from selenium import webdriverdriver = webdriver.Chrome() # 需安装ChromeDriverdriver.get("https://example.com")print(driver.page_source) # 获取页面源码driver.quit()三、关键注意事项安全性：生产环境务必启用证书验证，避免中间人攻击。依赖安装：requests-html: pip install requests-htmlScrapy: pip install scrapySelenium: pip install selenium + 浏览器驱动（如ChromeDriver）。性能优化：Scrapy 支持异步请求，适合高并发；Selenium 适合JavaScript密集型页面。四、扩展建议若需自定义证书，可通过 verify='/path/to/cert.pem' 指定证书路径（requests 库）。使用 Session 对象（如 requests.Session()）可复用连接，提升效率。根据需求选择合适工具，优先推荐 requests-html 或 Scrapy 以平衡易用性与安全性。