网络爬虫又称网络蜘蛛、网络蚂蚁、网络机器人等，可以自动化浏览网络中的信息，当然浏览信息的时候需要按照我们制定的规则进行，这些规则我们称之为网络爬虫算法。使用Python可以很方便地编写出爬虫程序，进行互联网信息的自动化检索。需要学习以下内容： ①要具备扎实的python语法基础，这是一切的根基 ②对前端知识有一定的了解，起码做到能看懂 ③如何获取目标数据：requests模块等 ④如何解析目标数据：正则，xpath，jsonpath等 ⑤如何做到做到反反爬：经验总结 ⑥如何大规模批量获取数据：scrapy框架