手把手教你爬取图片：百度、Bing、Google一、百度与Bing图片爬取工具准备工具代码地址：https://github.com/QianyanTech/Image-Downloader该工具提供了图形用户界面（GUI），方便用户操作。操作步骤在Windows系统上，打开命令行或终端。输入命令 python image_downloader_gui.py 运行工具。输入关键词：在工具界面中输入你想要爬取的关键词，如“狗”、“猫”等。不同关键词会保存到不同的文件夹中。支持中文与英文，且可以输入多个关键词，用英文逗号分隔。选取爬取引擎：选择Bing或Baidu作为爬取引擎。由于Google可能会报错，因此在此工具中暂不支持Google的直接爬取。设置最大爬取数量：根据需求设置最多爬取的图片数量。注意，有些关键词对应的图片可能较少，设置过多的数量可能会导致不必要的干扰。示例输入关键词“狗,猫”。选择Baidu作为爬取引擎。设置最大爬取数量为100。点击开始爬取，工具会自动下载并保存图片到指定文件夹。二、Google图片爬取工具准备工具开源地址：https://github.com/Joeclinton1/google-images-download操作步骤在Windows、Linux或Mac系统上，打开命令行或终端。输入命令 python google_images_download/google_images_download.py -k "狗" -l 1000 --chromedriver="path of chromedriver" 运行工具。其中，-k 为关键字，-l 为最大下载数量，--chromedriver 为本地chromedriver的路径。下载chromedriver：确保你的chromedriver与Chrome浏览器版本相匹配。可以从chromedriver.chromium.org/downloads下载最新版本的chromedriver。如果找不到与Chrome版本完全匹配的chromedriver，可以尝试下载相近版本的chromedriver，并通过运行脚本进行版本验证。版本验证与问题解决如果chromedriver版本不正确，脚本会报错并显示正确的版本号。根据报错信息下载对应版本的chromedriver。如果遇到报错信息“WebDriver object has no attribute 'find_element_by*'”，则需要修改源码中的三处代码，将find_element_by_*方法替换为find_element(By.*, *)方法。示例输入关键字“狗”。设置最大下载数量为1000。指定chromedriver的路径。点击开始爬取，工具会自动下载并保存图片到指定文件夹。三、图像去重方法介绍爬取不同网页或不同相似关键词得到的图像可能会重复。为了去除重复图像，可以使用md5码进行去重。操作步骤使用shell命令生成文件夹下所有图像的md5码，并写入md5.txt文件中。命令如下：find ./ -type f -print0 | xargs -0 md5sum | sort > md5.txt生成的md5.txt文件格式为：md5值 文件路径。使用脚本统计并过滤重复的md5值，从而找到并删除重复的图像。示例假设有一个文件夹包含多个图像文件。运行上述shell命令生成md5.txt文件。编写脚本读取md5.txt文件，统计并删除重复的图像文件。通过以上步骤，你可以轻松地从百度、Bing和Google上爬取图片，并进行去重处理。希望这些步骤对你有所帮助！