可采集文章里的图片、文章公众号(可选)

优采云 发布时间: 2021-05-02 05:04

  可采集文章里的图片、文章公众号(可选)

  可采集文章里的图片、文章公众号的链接,自定义菜单(等等)、公众号主页(可选)...另外这一项目目前只能用python语言采集。我为了学习python,花了两周的时间学习了这个开源爬虫项目。最重要的是,这是一个python爬虫项目,所以并不用太担心代码量太多的问题。项目内容let'sgogithub仓库地址。

  应该是要按月采集数据的项目

  公众号,微博,博客,留言板等等。

  感觉首页打开次数和打开速度很重要吧,如果数据量很多,不怎么更新而且这种项目数据只有图片文章之类的还是很值得去了解一下的。

  已经有人写了代码:/,同时他还放了他用python开发的爬虫以及代码,

  列表数据,

  任何博客、公众号、微博都可以。

  论坛不行,因为内容太少,特别是后面没有目标用户的话,爬的人少;应该只适合菜鸟级别的初级爬虫;微博应该是他的盲区;博客应该是个窗口,任何菜鸟级别的爬虫都可以爬;建议爬应用类的app数据,而且一定要是易用小型的或者有友好的api接口的,

  公众号可以使用微刊采集,公众号一般只会更新一次,需要多批次获取;数据分析相关,

  没有人说企鹅?

  这个问题下只有我对爬虫有兴趣嘛,

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线