php网页抓取图片(我觉得我还是有一点发言权的.data)

　　php网页抓取图片(我觉得我还是有一点发言权的.data)

　　php网页抓取图片我觉得我还是有一点发言权的。我是用urllib2+php异步获取图片的。先拿到正则表达式，然后xpath+正则表达式。由于现在app图片资源爆炸，对于图片信息爬取没有特别的局限。

　　1、图片每个像素代表着图片一个原子。binaryreader便可以读取一个图片像素的信息，全部依赖于binaryreader类，本文中称其为bs4.data。可以对读取到的信息做多项测试，比如imageinfo信息，然后存入json模块。

　　这是本人经常用的方法，

　　1）每次读取完像素后会重新进行读取

　　2）难保图片原子不会被覆盖。最后说一下，bs4有一个判断原子，函数false的语法规则导致每次读取存在原子数量的参数，无法获取到最终整个图片原子。

　　2、用多进程+多线程，多线程做个lru缓存。然后可以并发去读取多个图片原子，比如若一个图片几十百十万张，每次读取最多存入若干个原子。这个比较适合爬取在线图片，读取原子从磁盘读取下来做lru缓存，每次都读取几十万张。这个方法对于增量比较慢的也是很好的方法，比如global-image-reader，因为机器操作，更多原子到磁盘的操作时间更长。

　　3、通过xpath+正则拿到图片的二维码。用xpath比如/(html)/img/src读取二维码。做一些加密处理。

　　一维码一般对应一行，二维码需要逐个读取下来，

　　1),xpath('//*[@id=""]/span[1]/a').group

　　1))，以此类推。