Python 爬虫获取的数据可以通过多种方式显示,具体方法取决于数据格式和展示需求。以下是常见的显示方法及示例代码:1. 文本格式显示(1)使用 print() 函数直接打印数据到终端,适合简单调试或小规模数据。data = {"title": "示例标题", "url": "https://example.com"}print("提取的数据:", data)(2)使用 logging 模块记录数据到日志文件或控制台,适合长期运行或需要追踪的爬虫。import logginglogging.basicConfig(filename='crawler.log', level=logging.INFO)logging.info("提取的数据:%s", data)2. 表格格式显示(1)使用 pandas 库将数据转换为结构化表格(DataFrame),支持打印或导出为 CSV。import pandas as pddata = [{"title": "A", "value": 1}, {"title": "B", "value": 2}]df = pd.DataFrame(data)print(df.to_string()) # 打印表格df.to_csv("output.csv", index=False) # 保存为CSV文件(2)使用 csv 模块直接写入 CSV 文件,用 Excel 或文本编辑器查看。import csvwith open("output.csv", "w", newline="", encoding="utf-8") as f: writer = csv.DictWriter(f, fieldnames=["title", "value"]) writer.writeheader() writer.writerows(data)3. 可视化格式显示(1)使用 matplotlib生成基础图表(如直方图、折线图)。import matplotlib.pyplot as pltvalues = [1, 2, 3, 4]plt.plot(values)plt.title("数据趋势图")plt.show()(2)使用 seaborn创建高级可视化(如热力图、箱线图)。import seaborn as snsdf = pd.DataFrame({"category": ["A", "B", "A"], "value": [10, 20, 15]})sns.barplot(x="category", y="value", data=df)plt.show()4. 其他方法(1)存储到数据库将数据存入 SQLite/MySQL,通过 SQL 查询展示。import sqlite3conn = sqlite3.connect("data.db")df.to_sql("crawler_data", conn, if_exists="replace")conn.close()(2)创建 API 端点使用 Flask/FastAPI 提供数据接口。from flask import Flask, jsonifyapp = Flask(__name__)@app.route("/data")def get_data(): return jsonify(data)app.run(debug=True)(3)保存为 JSON 文件将数据转为 JSON 格式,便于其他程序读取。import jsonwith open("data.json", "w", encoding="utf-8") as f: json.dump(data, f, ensure_ascii=False, indent=4)总结简单调试:print() 或 logging。结构化数据:pandas + CSV/Excel。可视化分析:matplotlib/seaborn 生成图表。长期存储:数据库或 JSON 文件。外部访问:API 接口或文件导出。根据需求选择合适的方法,例如快速查看用 print(),数据分析用 pandas,展示趋势用 matplotlib。



































