Python爬虫获取数据教程一、什么是爬虫爬虫（网络爬虫）是一种计算机程序，用于自动从互联网收集数据。它可以模拟人类浏览器的行为，访问和下载网页中的内容。二、获取数据的步骤选择目标网站确定要从中获取数据的网站。确保目标网站允许爬虫访问，并遵守其robots.txt协议。分析网站结构使用浏览器开发者工具（如Chrome的F12）检查网页的HTML结构，识别需要提取的数据所在的标签、类名或ID。编写爬虫脚本使用Python编写脚本，通常包括以下步骤：发送HTTP请求（如使用requests库）。获取网页内容（HTML/XML）。解析数据（使用Beautiful Soup、lxml等）。运行爬虫执行脚本，爬虫会自动访问目标页面并下载数据。解析数据从下载的HTML或XML中提取所需信息，并转换为结构化数据（如字典、列表）。三、获取数据的常用方法Beautiful Soup安装：pip install beautifulsoup4特点：简单易用，适合解析HTML/XML，支持多种解析器（如html.parser、lxml）。示例：from bs4 import BeautifulSoupimport requestsurl = "https://example.com"response = requests.get(url)soup = BeautifulSoup(response.text, 'html.parser')title = soup.title.text # 提取标题lxml安装：pip install lxml特点：速度快，支持XPath和CSS选择器。示例：from lxml import htmlimport requestsurl = "https://example.com"response = requests.get(url)tree = html.fromstring(response.content)title = tree.xpath('//title/text()')[0] # 使用XPath提取标题正则表达式（re）适用场景：提取特定模式的数据（如链接、电话号码）。示例：import reimport requestshtml = requests.get("https://example.com").textlinks = re.findall(r'', html) # 提取所有链接XPath通过lxml或scrapy的Selector实现，适合复杂结构的数据提取。示例（同lxml中的XPath用法）。四、获取数据的注意事项遵守网站协议检查目标网站的robots.txt（如https://example.com/robots.txt），避免爬取禁止访问的内容。设置合理的请求间隔（如time.sleep(1)），避免对服务器造成压力。处理错误使用try-except捕获异常（如网络超时、解析错误）。示例：try: response = requests.get(url, timeout=5) response.raise_for_status() # 检查HTTP错误except requests.exceptions.RequestException as e: print(f"请求失败: {e}")速度和效率使用多线程/异步（如concurrent.futures、aiohttp）提升爬取速度。避免重复请求，缓存已爬取的数据。存储数据将数据保存为JSON、CSV或数据库（如SQLite、MySQL）。示例（保存为JSON）：import jsondata = [{"title": title, "links": links}]with open("data.json", "w") as f: json.dump(data, f)五、完整示例代码import requestsfrom bs4 import BeautifulSoupimport timedef scrape_website(url): try: headers = {"User-Agent": "Mozilla/5.0"} # 模拟浏览器请求 response = requests.get(url, headers=headers, timeout=5) response.raise_for_status() soup = BeautifulSoup(response.text, 'html.parser') title = soup.title.text if soup.title else "无标题" # 提取所有链接 links = [a['href'] for a in soup.find_all('a', href=True)] return {"title": title, "links": links} except Exception as e: print(f"爬取失败: {e}") return Noneif __name__ == "__main__": url = "https://example.com" data = scrape_website(url) if data: print("页面标题:", data["title"]) print("链接数量:", len(data["links"])) time.sleep(1) # 礼貌性延迟六、进阶建议学习反爬策略（如处理验证码、动态加载内容）。使用框架（如Scrapy）构建大规模爬虫。定期更新爬虫逻辑，适应网站结构变化。通过以上步骤和工具，你可以高效地用Python爬虫获取互联网数据，同时确保合法性和稳定性。