集搜客网页抓取软件(集搜客网页抓取软件的运行原理我们来探究一)

　　集搜客网页抓取软件(集搜客网页抓取软件的运行原理我们来探究一)

　　集搜客网页抓取软件的运行原理我们来探究一下：如图：我在网站上进行搜索，收到一个全国天气预报信息列表，然后点击其中的天气预报，在弹出的api接口使用教程中，输入起始网址:8000/xxxxx.api，然后就返回：responseheader里面有几个参数可以分开看：1.timespan时间段；2.ip地址；3.callback回调方式。

　　那么，作为开发者，我们只需要按照规则，将网址发送给程序，生成请求数据，那么它就可以从数据库获取需要的信息。然后用access-control-allow-origin:0来允许。在这个基础上，我们用jsonp请求获取数据，此时数据不会直接显示在页面上。也就是说，我们的程序可以获取到服务器返回的http请求参数，然后将其传给程序。

　　然后就可以获取到正确的请求响应（也就是发出的数据）。其它公司使用的api接口，不一定就是jsonp，还要看对方使用的方式和是否需要公网ip，以及数据是否放在session里等等。

　　jsonp，要服务器返回json格式的数据，才能转发给微信分享，返回结果是带有网址。

　　jsonp可以，不过目前是已经淘汰了，有浏览器api，支持jsonp通讯，但是需要服务器支持。之前做过一个爬虫，jsonp不行，结果挂了。jsonp是浏览器api可以通讯，但是服务器是不支持，得使用jsonp。话说回来，这也不是什么开放接口，然后，然后就用jsonp去获取信息了。最好用静态页面去抓取，要保证服务器不被劫持，app抓取分享，又麻烦又不安全。最后，是别信qq空间，微信内部的分享机制，其他都是开放接口，都不安全，非得别人配合，不然爬虫不能工作。