php抓取网页指定内容，获取新浪微博ip地址的地址

　　php抓取网页指定内容，获取新浪微博ip地址的地址

　　php抓取网页指定内容，可以使用gmail的特定接口，如国内新浪微博api接口。

　　一、抓取注册邮箱ip地址抓取注册邮箱ip地址的地址如下，填写完成后，php解析邮箱地址数据（获取其label）就可以获取到其ip地址。通过gmail获取每个国家的ip地址，我们可以把这些国家的ip地址进行数据交换。就可以构建一个社交网络的图谱。举个例子：比如我们获取了美国的图谱之后，我们再把这些图谱同步到国内，然后注册新浪微博，就可以获取新浪微博的粉丝的邮箱地址和密码了。

　　二、批量抓取微博图谱将获取到的图谱批量地写成*.jpg格式，然后用php或其他语言把图谱文件解析出来。抓取图谱的类、名、地址都写到文件里，php解析文件的函数使用的是getpid方法，getpid返回的label与地址参数label对应，如下图中的str_link。就可以把整个图谱库批量地编号好，后续对象、各个url进行getpid方法调用。

　　三、批量抓取feed列表php获取feed列表后，我们可以将feed获取好的链接用javascript进行操作，因为ie浏览器本身是带有广告的，如果没有ie浏览器也可以进行抓取，这个非浏览器地址不推荐使用，图片传输可以使用。phpdiv中引入javascript就可以实现对网页的操作操作javascript对cookie进行操作后，返回的内容就是我们想要获取的图谱信息。

　　四、图片地址获取php获取图片地址后，可以用scrapy的轮询技术进行抓取，效率也比较高。还可以在程序中，同时存在多个图片地址，然后给他们分别编号，然后getpid方法获取，不仅提高抓取速度，还节省了线路和网络资源。效果如下，

　　五、爬取其他网站数据打开国内数据竞价平台（实时竞价平台）ip代理，获取ip和头像。打开href=""，返回ip返回头像可以获取出来。php爬虫在爬取其他网站数据时，我们可以使用上面在gmail获取图谱里面获取的信息，并再写入到循环中。

　　六、爬取海外数据海外的数据太多，并且数据很好爬取，为了一一爬取数据，都需要单独编号命名。我们可以使用leap浏览器，获取头像，进行编号。php解析html的地址是‘/ajax/user-agent-set-cookie-id’,这里的id是我们在gmail获取到的ip值，http/1.1，而user-agent-set-cookie-id为：gmail，可以使用数据库表-id/set-cookie-id的方式获取，默认值应该是8123474。

　　这里的1-10好多爬虫都获取的不对应，第一个0和9都有爬取过。这些都可以单独获取的。在爬取国内的数据时，一个爬虫一个爬。