从网页抓取数据(Java的restful相关的框架和基础知识,你了解多少?)
优采云 发布时间: 2021-12-30 15:06从网页抓取数据(Java的restful相关的框架和基础知识,你了解多少?)
从网页抓取数据用restfulwebapi实现比较简单,
请先关注我,谢谢。
访问返回数据,再解析。
因为你没有相关基础知识,
1、先了解下http协议,http头部有一些重要的字段,包括状态码、tcp的缓存头等。
2、了解下restful,restful来源于java,当然java的设计和web技术是截然不同的,java没有restful的设计思想,但是有设计技术也有java的restful相关的框架,最好是先看看java的restful,然后再学习python的restful。
3、关于爬虫。因为你是做应用层面,所以可以看看api或者web接口等,自己设计一个结构化的接口。
4、可以自己实践,比如用django和flask做一个快速的个人博客爬虫,这个是有难度的,但是把握着核心原理是可以做到的。
5、最后,你需要一个框架,如tornado和go的eventloop等,这个就需要一定编程基础了。建议从重视核心代码和接口,转而更加关注实践中的细节,这对你以后的发展有着重要的意义。