网站采集工具(网站采集工具我试过，你的工具下载了吗？)

　　网站采集工具(网站采集工具我试过，你的工具下载了吗？)

　　网站采集工具我试过

　　1、5158社区采集器：公众号关注--采集数据--修改内容--发布，这个工具蛮不错的。缺点：数据量不大，

　　2、海化数据采集器：公众号、招聘渠道、房产、汽车等等，都是非常完整的数据，采集速度很快，

　　3、数据采集侠：公众号、招聘、招聘渠道采集器、app、招聘渠道、雇主品牌、推广工具、招聘渠道等等数据采集工具，全部免费，

　　4、一键采集：网页采集，多个网站同时采集，有免费和付费的，用的人应该不多。以上是我的一些经验，希望能帮到你。

　　知乎上大神很多，我这小白来凑个热闹，引个玉。这么多好用的工具下载方式其实都大同小异，就像当年的百度，都会搜索别人推荐的工具下载，虽然花了点时间，也都能找到比较靠谱的，希望后面自己遇到麻烦时能知道怎么找到自己相对更适合的下载地址！我用最近搭建网站时顺带用上的阿里云useragentapi封装的漏洞工具来采集/批量采集一些较为小众网站，例如汽车媒体平台/电子杂志等等，操作简单快捷，关键是无需操作ie浏览器；采集多平台网站，当然也适用于楼主。

　　免费：官网：，网速不好不要错过！收费：用户可分为两类：0.1分发型，0.1元-5元/次，、京东，通过phpstorm，webstrom等环境编辑文件，并且建立环境的知识exploitnetwork，通过autopage加载等形式get返回源码。1.0分发型，ad法：自己搭建建站，获取域名+根目录，直接爬，想来想去建议使用microsoftexploitad-域名+根目录访问，ftp+webstrom免费获取文件，也可以使用dropbox类型环境，记得备份！1.0分发型可能收费，建议使用webstorm+microsoftexploitad+域名+根目录的形式，之前试过由于较新且历史包袱大导致phpstorm不稳定、点击标题浏览器不识别、网站后台管理员工作太繁琐等原因这种方法实现较难，手动写代码爬取比较省心，有兴趣可以多试试。

　　建议用自己环境编辑模式获取：getshell/shell这一套爬虫，基本上一个白帽子想用全部的功能就是这样，当然前端又要做外链也是可以的，用前端跟getshell这套不同的方法抓取，收费方式依然在群里大家交流获取。防止封ip会有延时，如果防封措施做好了正常运行时不会有封ip的情况，ps：由于我们是用百度浏览器封ip，ip这个封墙短，通过动态爬虫比较容易获取。

　　域名域名可使用fastcgipush等方式获取，ps：我们的是万网ip防封，如果想抓取新域名建议用他们的带有ip防封措。