php 抓取网页生成图片(这期小编丰富且以专业的角度为大家分析和叙述)
优采云 发布时间: 2021-12-02 00:21php 抓取网页生成图片(这期小编丰富且以专业的角度为大家分析和叙述)
在本期内容中,小编将为大家带来如何使用PHP抓拍远程图片的信息。文章内容丰富,从专业角度分析叙述。看完这篇文章希望大家能有所收获。
一、创建项目
作为演示,我们在www根目录下创建一个项目grabimg,创建一个类GrabImage.php和一个index.php。
二、编写类代码
我们定义一个与文件同名的类:GrabImage
class GrabImage{
}
三、属性
接下来,定义几个需要用到的属性。
1、首先定义一个需要抓取的图片地址:$img_url
2、定义另外一个$file_name来存放文件名,但是不带扩展名,因为可能会涉及到扩展名的替换,所以这里是定义
3、 后跟扩展名 $extension
4、然后我们定义一个$file_dir。该属性的作用是远程镜像抓取后本地存储的目录,一般以PHP入口文件的位置为起点。但是路径一般不会保存到数据库中。
5、最后我们定义了一个$save_dir,顾名思义,这个路径就是要直接保存的数据库的目录。这里说明一下,我们不直接将文件保存路径存储到数据库中,一般是为了方便以后系统迁移时更改路径。我们这里的$save_dir一般是日期+文件名,如果使用的时候需要取出来,把需要的路径放在前面。
四、方法
属性说完了,接下来我们就正式开始爬取工作了。
首先,我们定义了一个open方法getInstances来获取一些数据,比如抓拍图片的地址,本地保存路径等。同时把它放在属性中。
public function getInstances($img_url , $base_dir)
{
$this->img_url = $img_url;
$this->save_dir = date("Ym").'/'.date("d").'/'; // 比如:201610/19/
$this->file_dir = $base_dir.'/'.$this->save_dir.'/'; // 比如:./uploads/image/2016/10/19/
}
图片保存路径已拼接。接下来需要注意一个问题,目录是否存在。日期一天天过去,但目录不会自动创建。因此,在保存图片之前,您需要先检查一下,如果当前目录不存在,我们需要立即创建它。
我们创建 setDir 方法来设置目录。我们将财产设为私密、安全
/**
* 检查图片需要保持的目录是否存在
* 如果不存在,则立即创建一个目录
* @return bool
*/
private function setDir()
{
if(!file_exists($this->file_dir))
{
mkdir($this->file_dir,0777,TRUE);
}
$this->file_name = uniqid().rand(10000,99999);// 文件名,这里只是演示,实际项目中请使用自己的唯一文件名生成方法
return true;
}
下一步就是抓取核心代码
第一步是解决问题。我们需要抓取的图片可能没有后缀。按照传统的抓图方式,先抓图,再截取后缀名是行不通的。
我们必须通过其他方式获取图片类型。方式是从文件流信息中获取文件头信息,然后判断文件mime信息,即可知道文件后缀名。
为方便起见,首先定义一个 mime 和文件扩展名映射。
$mimes=array(
'image/bmp'=>'bmp',
'image/gif'=>'gif',
'image/jpeg'=>'jpg',
'image/png'=>'png',
'image/x-icon'=>'ico'
);
这样,当我得到类型 image/gif 时,我就可以知道它是一个 .gif 图像。
使用php函数get_headers获取文件流头信息。当它的值不为 false 时,我们将它分配给变量 $headers
取出Content-Type的值作为mime的值。
if(($headers=get_headers($this->img_url, 1))!==false){
// 获取响应的类型
$type=$headers['Content-Type'];
}
使用我们上面定义的映射表,我们可以很容易的得到后缀名。
$this->extension=$mimes[$type];
当然,上面得到的$type可能不存在于我们的映射表中,说明这种类型的文件不是我们想要的,放弃它,忽略它。
以下步骤与传统的文件抓取相同。
$file_path = $this->file_dir.$this->file_name.".".$this->extension;
// 获取数据并保存
$contents=file_get_contents($this->img_url);
if(file_put_contents($file_path , $contents))
{
// 这里返回出去的值是直接保存到数据库的路径 + 文件名,形如:201610/19/57feefd7e2a7aY5p7LsPqaI-lY1BF.jpg
return $this->save_dir.$this->file_name.".".$this->extension;
}
先获取本地保存图片的全路径$file_path,然后用file_get_contents抓取数据,再用file_put_contents保存到刚才的文件路径。
最后,我们返回一个可以直接保存到数据库的路径,而不是文件存储路径。
完整版的爬取方法为:
private function getRemoteImg()
{
// mime 和 扩展名 的映射
$mimes=array(
'image/bmp'=>'bmp',
'image/gif'=>'gif',
'image/jpeg'=>'jpg',
'image/png'=>'png',
'image/x-icon'=>'ico'
);
// 获取响应头
if(($headers=get_headers($this->img_url, 1))!==false)
{
// 获取响应的类型
$type=$headers['Content-Type'];
// 如果符合我们要的类型
if(isset($mimes[$type]))
{
$this->extension=$mimes[$type];
$file_path = $this->file_dir.$this->file_name.".".$this->extension;
// 获取数据并保存
$contents=file_get_contents($this->img_url);
if(file_put_contents($file_path , $contents))
{
// 这里返回出去的值是直接保存到数据库的路径 + 文件名,形如:201610/19/57feefd7e2a7aY5p7LsPqaI-lY1BF.jpg
return $this->save_dir.$this->file_name.".".$this->extension;
}
}
}
return false;
}
最后,为了简单起见,我们希望在别处调用这些方法之一来完成爬网。所以我们把抓取动作直接放到getInstances里面,配置好路径后,直接抓取,所以在初始配置方法getInstances中添加代码。
if($this->setDir())
{
return $this->getRemoteImg();
}
else
{
return false;
}
测试
让我们在刚刚创建的 index.php 文件中尝试一下。
我确实抓住了它
完整代码
<p>