输入关键字抓取所有网页信息是一个比较困难的任务

　　输入关键字抓取所有网页信息是一个比较困难的任务

　　输入关键字抓取所有网页信息是一个比较困难的任务。i.简单方法假如我们需要得到每个网页的链接（比如页码，关键字），下面是一个简单的方法。其大致过程为：在开始搜索时，网页数只有1条，如果总计有多条，选择重复出现次数最高的网页，计算个数，将网页网址保存起来并制表，包括该网页所有网址、该网页链接、所需的总链接数等信息，统计样本库中随机选择的链接数。

　　利用样本库中随机选择的链接对样本进行排序。剩下的就是一个异或运算，计算最大网页链接数。ii.进阶版假如我们需要得到网页的pdf或者excel中的链接。首先找到最长的那个字符串，计算最长的子串和字符。然后计算每个字符串的最大长度。在一次抓取中我们可能无法抓取所有字符串，网页一般只有三四百条。还有两三百条我们不需要，或者根本没有，可以利用isabs_item()去字符串中找，然后一点点来。

　　如果有多条相同字符串，我们还可以按索引来抓取。iii.python实现可以使用如下代码抓取所有网页中的链接，网页只有三百条，如下：fromsklearn.linkedin.multiple_docsimportmultiple_docshandler=multiple_docs.filter_docs(handler=handler)excer=multiple_docs.insert_excel('最长子串的个数','label='my_abs_item("小米手机")')这样就可以有很多条链接了，但是一次抓取几百条我们是不需要的，可以用isabs_item()方法。

　　fromsklearn.linkedin.multiple_docsimportmultiple_docshandler=multiple_docs.filter_docs(handler=handler)excer=multiple_docs.insert_excel('最长子串的个数','label='figlabel("小米手机")')获取全部页面信息采用正则表达式+xpathcity='([@id=']\s[0-9]+)'#路径submit='请抓取所有'#链接detail='请抓取所有'#链接submit='请抓取所有'#链接citigood='请抓取所有'#链接submit='请抓取所有'#链接target='请抓取所有'#链接target='请抓取所有'#链接detail='请抓取所有'#链接target='请抓取所有'#链接detail='请抓取所有'#链接target='请抓取所有'#链接detail='请抓取所有'#链接detail='请抓取所有'#链接citigood='请抓取所有'#链接foritemindetail:list=[]citigood.append(item)。