网页flash文本抓取器(使用网站数据爬取csdn的方法，找到轮子哥的csdn爬虫)

　　网页flash文本抓取器(使用网站数据爬取csdn的方法，找到轮子哥的csdn爬虫)

　　网页flash文本抓取器就很棒啊，可以抓取网页所有的文本，然后整理文本并发给后端。第一眼就被这个seofy吸引了，从图中看出ui的风格是macos，作者是个ppt控。

　　我做了一个，不过只能抓取链接图片视频啥的，不能自动爬取相应的数据抓取页面对应的数据我可以做一个推荐列表，

　　简单测试了一下，爬取博客还行，不过github上以及一些信息收集站就不好用了。

　　轮子哥快来一起回答。之前我们博客配置的网站是以github为主，使用githubspider抓下来的数据都很完整了，但爬取个csdn博客就很麻烦，每个数据点击一次获取一次。这次抓包机会就给了使用网站数据爬取csdn的方法（没错就是轮子哥写的csdn爬虫），使用简单快捷的方法，找到轮子哥的github及csdn博客网页的html源代码（包括分页地址网址、index_ver、stat、meta_priv、meta），抓包一遍就获取这些数据了。

　　我拿到了网页源代码后已经是今年2月20号了，刚刚公布了已经开源的代码，如果觉得效果不错的话，可以fork开源代码并且进行优化以及添加新的功能，给大家看一下效果。代码：githubspider源代码地址：apilist：csdn上轮子哥写的爬虫：point.zhanghang/csdn-bot-spider。