教程:php抓取网页程序的页面全部的内容要话多久?
优采云 发布时间: 2022-09-22 06:04教程:php抓取网页程序的页面全部的内容要话多久?
php抓取网页程序的页面全部的内容要话多久?作为抓取程序的设计师,我们要了解整个程序所消耗的时间。假设抓取几十个网页,一次性抓取2万条数据。那么我们仅仅要一分钟就可以完成!那么代码该怎么写呢?voidstart(){login();}上面代码中login和start两个函数,让我们查看一下结果:一共10秒钟。
假设我们的代码量如下图所示,一次性抓取2万条数据。全部覆盖下来将需要1小时的时间!那么这么快的时间代码该怎么写呢?我们来修改一下上面代码:login();代码如下:上面代码就是以上面的方式抓取网页全部的内容,其实代码结构没有变化,但是由于网页中有跳转,整个程序消耗的时间却提高了很多倍!同时还涉及到多线程抓取问题,那么接下来我们将抓取全部的网页打印出来,看看程序跑了多久。
我们可以清楚的看到,1分钟和一小时的时间,代码输出的结果可以达到1万条数据!那么我们实际完成这样的抓取是几秒钟?一万条数据呢?假设我们输出全部的数据总共需要2万个字节,那么这里的字节与字节的计算方式为:字节=8bit字节=char的8次方字节=byte(2^8)其实我们用的char的读取方式与上面的是一样的,用相同的方式换算到我们的程序里面:字节=8bit字节=char(8bit)这就是相同读取一次数据所用的字节,由于上面的代码结构和程序的输出都没有变化,那么在内存里面就像是一块没有占用的内存一样,也就是无量倍的提高了速度。
同时,还涉及到了内存的复制,那么回头看看我们最终完成的效果是不是能够有高达100倍的提升呢?赶快动手来实验一下吧!。