【摘要】爬虫的一些案例 相信大家使用爬虫时，都是一股脑跑进网上查询别人的代码。然后照搬网上的，发现运行的时候并没有很好地符合自己的预期。 现在我来给大家指出爬虫的基本流程，如果有错误，还望大家指正。 爬虫流程： 首先先分析需要爬取的网站，有些网站是有robot.txt，不允许哪些爬取，允许爬取哪些内容，爬取 阅读全文