从网页抓取数据(你不想用服务器和数据库?推荐用python和reactjs!)

优采云 发布时间: 2022-01-29 04:03

  从网页抓取数据(你不想用服务器和数据库?推荐用python和reactjs!)

  从网页抓取数据的话是可以用php+mysql库来实现的,

  想做的话建议买一个nginx

  我做javaapi,在简单做一下的前提下,能不用网页做,就不用,能使用图片,就不上传。目前主要是php+nginxweb服务器+项目lua小文件的sync。

  php老哥教教我怎么用网页做数据抓取?

  看看李智慧的thinkphp框架-网络爬虫

  大的web服务要用很多php组件,看php自己官方给的例子吧,感觉都需要php扩展。比如登录,你要用get,怎么进去,

  建议选一个好框架,先了解整个项目的数据流,把不想爬的网页都封死,爬下来后再封死一些页面,根据后台接口连起来,

  很简单,用oauth+redis实现就是了。

  百度爬虫你可以试一下。

  你不想用服务器和数据库?推荐用python和reactjs!

  1,有人说用scrapy,easyscrapyscrapy是世界级的爬虫框架,运行很快,而且相当容易上手。2,还有pyopengraw。基于python,由python自己在网上开发的一个应用程序,而且用python编写。

  python2写的话,推荐用lxml,和openstreetmap的webapi类似,github上可以找到很多实例

  都用php开发了,

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线