网页抓取工具(网页抓取工具很多的，你知道吗？（上）)

　　网页抓取工具(网页抓取工具很多的，你知道吗？（上）)

　　网页抓取工具很多的，

　　1、爬虫类工具，这类工具抓取效率高，可以抓取很多网站，主要分为两大类，一类是抓取别人网站（注意这里说的是爬虫类工具，有许多免费的工具，比如可抓取java，爬虫工具-请按下键盘‘shift+ctrl+c’、可抓取知乎问答）；另一类抓取自己网站（该类工具注意收费、有些网站收费后效果并不好，效果好的也不贵，但请慎用！）。

　　2、ai类工具，这类工具有一些，也有很多免费的网站可以抓取。相对于第一类工具，ai工具，不要考虑解析速度，考虑效果就好，目前无论是ai还是scrapy，基本都支持自动抓取（你可以尝试下scrapy和aiohttp对比哪个更好）。ai类工具基本也可以解析所有网站，所以看自己想要爬取哪方面网站了。

　　3、开源类工具，国内有好多开源类的工具，有一些工具可以抓取外国网站，如果能抓到国外网站，也会很有前途的。本文分享的抓取资源，有一些是优秀工具，大部分是现成教程。

　　1、易语言编程工具charmap。可以算是网页编程入门材料中最具优势的工具了。不仅功能齐全，而且出了新版本的charmap，可以与时俱进。如果语言都学会了，那么还是很推荐用它的，可以抓取大部分国外网站。

　　2、腾讯公开课，网站内的视频教程录制的非常精彩，而且很适合初学者，对你基础的理解非常有帮助。网站首页有很多免费的公开课，想学习，基本都能满足要求。

　　3、云裳讲堂，内有网页分析，然后抓取国外网站；爬虫，爬取即可；数据库，这个功能似乎对初学者来说不实用，但对工作中来说是有非常好的用处的。